생성형 AI가 애플리케이션 성능에 미치는 영향

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

소비자들이 얼마나 참을성이 없는지를 보여주는 연구는 많습니다. 앱의 성능이 좋지 않으면 사용을 중단하고 삭제하며, 소셜 미디어에서 거세게 불만을 토로합니다. 그리고 많은 소비자에게 성능이 좋지 않다는 것은 “응답하는 데 2초 이상 걸린다”는 뜻입니다.

이제 생성형 AI를 살펴보겠습니다. 경험과 벤치마크에 따르면 생성형 AI는 일반적으로 응답하는 데 몇 초보다 훨씬 더 오래 걸립니다. 하지만 친구나 가족과 문자로 대화할 때처럼 챗봇이 ‘생각하는’ 동안에는 응답이 곧 도착한다는 것을 알려 주는 움직이는 “…” 표시가 세심하게 나타납니다.

어떤 이유에서인지 이 애니메이션은 디지털판 파블로프 반응에 가까운 것을 유발해 우리가 기꺼이 기다리게 합니다. 아마도 그 이유는 인간과 같은 성격이 부여된 비인간 존재를 더 호의적으로 바라보게 하는 의인화의 심리에 있을지도 모릅니다. 따라서 우리는 AI를 적어도 인간과 비슷한 존재로 인식하기 때문에, 인간에게 베풀 법한 것과 같은 너그러움을 AI에도 베풉니다.

오늘날의 AI 사용자 경험을 기꺼이 기다리는 이유가 무엇이든, 이러한 관용이 어디까지, 또 얼마나 오래 지속될지 의문이 제기됩니다. 점점 더 많은 애플리케이션이 통합되고, 향상되며, AI 기능을 갖추게 됨에 따라 어느 정도의 성능이 허용 가능한지에 대한 답을 찾는 일이 갈수록 중요해지고 있습니다.

과연 어느 정도의 지연 시간까지 AI 사용자 경험에서 허용될 수 있을까요? 지연이 어디에서 발생하는지가 중요할까요, 아니면 생성형 AI가 사용된다는 사실을 알고 있을 때만 허용되는 걸까요?

이는 반드시 살펴봐야 할 중요한 영역입니다. 애플리케이션 보안에서 프로세스에 지연 시간을 추가하는 것은 금기시된다는 사실을 잘 알고 있기 때문입니다. SQLi, 악성 코드, 프롬프트 인젝션과 같은 알려진 위협을 기준으로 콘텐츠를 검사하고 평가하려면 현실적으로 지연 시간이 필요하지만, 애플리케이션 보안 서비스 사용자는 성능을 저하시키는 솔루션이라면 곧바로 사용을 중단하는 경향이 있습니다.

그 증거로, 이 주제에 관한 질문에 대한 당사의 2022년 애플리케이션 전략 현황 설문조사 응답을 살펴보겠습니다. 이 조사에서 IT 및 비즈니스 리더 모두의 약 60%가 1%에서 50%의 성능 향상을 위해 보안 제어를 비활성화할 의향이 있다고 답했습니다.

성능이 중요하다는 점은 분명하며, 지연 시간은 매우 나쁜 것™으로 여겨집니다. 그렇다면 AI 사용자 경험에서 어느 정도의 지연 시간까지 허용할 수 있을까요? “응답 시간은 X초 미만이어야 한다”라는 기존 기준이 여전히 유효할까요? 아니면 AI가 모든 앱에서 이 한계를 더 늘리고 있는 걸까요, 혹은 명백히 AI를 사용하는 앱에서만 그런 걸까요?

그리고 우리의 인내심이 생성형 AI의 신선함에서 일부 비롯된 초기 반응에 불과하다면, 그 신선함이 사라진 뒤에는 어떻게 해야 할까요?

현재 추세대로 추론 속도가 빨라진다면 이 질문은 무의미해질 수도 있습니다. 하지만 그렇지 않다면, 느린 추론 속도를 보완하기 위해 AI를 제공하고 보호하며 지원하는 구성 요소와 서비스가 훨씬 더 빨라져야 할까요?

업계는 이처럼 빠르게 움직이고 있습니다. 하나의 질문이 또 다른 질문을 낳고, 답을 찾기도 전에 새로운 질문이 생겨납니다. 답을 얻지 못한 질문들이 쌓인 모습은 누군가 코어 스위치의 전원을 뽑은 뒤 IT 부서 직원들이 모두 퇴근해 버린 기업의 장애 처리 티켓 목록과도 같습니다.

우리는 애플리케이션 딜리버리와 보안이 AI로 인해 변화할 것임을 알고 있습니다. 이는 AI를 활용해 고객 및 기업 운영을 강화하려는 이들의 요구 사항뿐만 아니라, 이들을 위한 솔루션을 구축하는 이들에게도 해당됩니다. AI 게이트웨이, 데이터 보안, 그리고 DDoS와 같은 기존 공격에 대한 방어 등 명확한 해결책은 쉽게 제시할 수 있으며, 이미 이에 대응하고 있습니다. 하지만 장기적인 영향을 파악하는 것은 훨씬 더 어려운 과제이며, 특히 성능 측면에서는 더욱 그렇습니다.

또 다른 현실은 하드웨어만으로 성능을 끌어올리는 데에는 한계가 있으며, 결국 물리적 제약에 부딪히게 된다는 것입니다. 그때부터는 모든 비즈니스의 핵심 구성 요소가 될 것이 분명한 이 기술의 성능을 어떻게 개선할지 업계 전체가 해법을 찾아야 할 것입니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물