AI 앱 제공의 10대 과제: 지연 시간을 처리하지 못하는 문제

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

지연 시간은 사용자 신뢰를 무너뜨리고, 인시던트 발생량을 폭증시키며, 어느새 예산을 불태우기 시작하기 전까지는 모두가 그저 ‘성능 문제’인 척해 온 대상입니다. 원문 ADC06에서는 이를 애플리케이션 전송 문제로 정확히 규정합니다. 지연 시간은 한 계층에만 국한되는 경우가 드물고, 결코 얌전히 머물러 있지 않기 때문입니다. AI는 이러한 양상을 더욱 두드러지고 비용이 많이 들게 만들며, 로딩 표시 뒤에 숨기기도 훨씬 어렵게 합니다.

이유는 간단합니다. AI 경험은 상호작용을 기반으로 하며, 사람들은 대화처럼 느껴지는 답변을 기다릴 때 지연을 다르게 받아들입니다. 페이지가 느리게 로드되면 짜증이 납니다. 하지만 ‘어시스턴트’의 응답이 느리면 무언가 잘못되었다고 느끼게 됩니다. 대기 시간이 길어질수록 사용자는 대시보드로 확인할 필요도 없이 여러분의 시스템을 ‘유용함’에서 ‘신뢰할 수 없음’으로 인식하기 시작합니다.

성능에 미치는 영향

기존의 애플리케이션 제공 방식에서 지연 시간은 대개 응답 속도 저하로 나타나 애플리케이션이 느리고 답답하게 느껴지게 합니다. 사용자의 불만이 늘고 NPS가 하락하며 전환율도 타격을 입으면, 원인이 네트워크인지, 앱인지, 데이터베이스인지, 아니면 ‘클라우드’인지를 두고 늘 그렇듯 논쟁이 시작됩니다. 이 문제는 언제나 실재했지만 동시에 익숙한 문제이기도 했기에, 팀은 이를 어떻게 분석하고 판단해야 하는지 알고 있습니다.

AI에서는 지연이 단순히 느린 것이 아니라 무능한 것처럼 느껴지기 시작합니다. 사용자는 긴 대기 시간을 “분산 시스템에서 흔히 일어나는 현상”으로 받아들이지 않습니다. 대신 주저하거나 혼란스러워하거나 실패한 것으로 해석하며, 한번 그런 인식이 자리 잡으면 좀처럼 바뀌지 않습니다. 결국 결과가 나오더라도 시스템이 확신이 아닌 불확실성을 드러낸 탓에 이미 불리한 상황에서 신뢰를 회복해야 합니다.

토큰 중심의 동작 방식은 기존 애플리케이션에서는 전혀 겪지 않아도 됐던 방식으로 이 문제를 더욱 악화시킵니다. 모두가 ‘혹시 모르니’라는 생각으로 계속 맥락을 추가하다 보면 프롬프트가 점점 길어질 수 있고, 모델은 별도로 제한하지 않으면 특성상 계속 말을 이어 가기 때문에 출력 분량도 크게 늘어날 수 있습니다. 인프라에 아무런 문제가 없더라도 시스템 성능이 저하된 것이 아니라 처리해야 할 작업량이 늘어났기 때문에 사용자 경험이 느리게 느껴질 수 있습니다.

가용성에 미치는 영향

지연 시간은 늘 성능 문제로 위장한 안정성 문제였습니다. 종속 서비스의 응답이 느려지면 타임아웃이 발생합니다. 타임아웃이 발생하면 재시도가 이어지고, 재시도가 이어지면 부하가 증가합니다. 부하가 증가하면 모든 것이 더 느려지고, 기술적으로는 아무것도 중단되지 않았는데도 장애처럼 전개되는 연쇄 현상을 목격하게 됩니다.

AI 시스템은 일반적인 애플리케이션 스택보다 구성 요소가 많기 때문에 지연 시간이 가용성 장애로 이어지기 쉽습니다. 모델 엔드포인트, 게이트웨이, 오케스트레이션 계층, 검색 서비스, 도구 실행 시스템이 있으며, 요청 처리 과정에 정책 적용 기능이 포함되는 경우도 많습니다. 이 중 한 요소라도 응답이 느려지기 시작하면 사용자 경험은 복잡하고 진단하기 어려운 양상으로 저하됩니다.

에이전트형 워크플로에는 단순한 지연인데도 시스템이 불안정한 것처럼 보이게 하는 또 다른 장애 패턴이 있습니다. 에이전트는 사용자와 한 번 상호작용할 때 여러 작업을 수행하는 경우가 많으며, 다음 단계가 이전 단계의 결과에 따라 달라지기 때문에 대개 이러한 작업을 순차적으로 처리합니다. 따라서 도구 호출 하나가 느려지면 시스템 속도만 저하되는 것이 아니라 작업 진행 자체가 막힙니다. 이렇게 차단되는 세션이 많아지면 대기열이 쌓이고 동시 처리 능력이 무너지면서 시스템에 다운타임처럼 느껴지는 증상이 나타나기 시작합니다. 여기에는 시간 초과, 중도 이탈한 세션, 그리고 트레이스를 확인하기 전까지는 비합리적으로 들릴 만큼 급증하는 사용자 불만 등이 포함됩니다.

확장성에 미치는 영향

AI 시스템의 확장성은 흔히 잘못 이해되곤 합니다. 팀들이 실제 제약 요인은 요청당 처리 시간인 경우가 많은데도 계속 요청량만을 기준으로 생각하기 때문입니다. 지연 시간이 늘어나면 각 세션이 더 오래 열린 상태로 유지되고, 그만큼 컴퓨팅 리소스가 더 오래 점유되어 실질적인 처리량이 감소합니다.

AI는 변동성을 더해 이러한 현상을 훨씬 더 극적으로 만듭니다. 어떤 요청은 빠르게 처리되지만, 어떤 요청은 방대한 프롬프트, 대규모 검색, 긴 출력, 여러 차례의 도구 호출을 포함합니다. 평균을 기준으로 설계하면 꼬리 구간이 발목을 잡게 되며, AI 시스템에서 이 꼬리 구간은 무시할 수 있는 오차가 아닙니다. 사용자는 지금까지 제공된 최고의 응답을 기억하지 않기 때문에 꼬리 지연 시간이 곧 사용자 경험이 됩니다.

동시성 역시 다르게 작동합니다. AI 워크로드는 대개 상호작용이 많고 세션 중심적이므로, 깔끔한 무상태 API 트래픽처럼 동작하지 않습니다. 시스템은 컨텍스트를 유지하고 후속 요청을 처리하며 일관된 경험을 제공해야 합니다. 지연 시간이 조금씩 늘어나면 단순히 초당 처리하는 요청 수만 줄어드는 것이 아니라 분당 처리하는 대화 수도 줄어듭니다. 제품의 가치가 응답성으로 결정되는 경우에는 이러한 차이가 중요합니다.

운영 효율성에 미치는 영향

지연 시간은 예측 가능하면서도 짜증스러운 방식으로 운영에 부담을 줍니다. 일반적으로 가장 먼저 취하는 대응은 용량을 늘리는 것입니다. 가장 빠르게 적용할 수 있고 정당화하기도 가장 쉽기 때문입니다. 두 번째 대응은 대개 캐싱을 추가하는 것입니다. 영리한 해결책처럼 느껴지고 실제로 도움이 될 수도 있기 때문입니다. 세 번째 대응은 보통 재시도를 추가하는 것입니다. 누군가 안정성을 원하기 때문인데, 그러다 보면 어느새 느려짐을 부하 증폭으로 바꾸는 시스템을 구축하게 됩니다.

시간이 지날수록 지연 시간은 팀이 기능을 제공하는 일보다 제공 시스템을 유지 관리하는 데 더 많은 시간을 쓰게 만드는 운영 모델을 형성합니다. AI는 성능이 엔드투엔드이자 여러 영역에 걸쳐 좌우되기 때문에 이 문제를 더욱 심화시킵니다. 결국 하나의 일관된 파이프라인으로 디버깅하도록 설계된 적이 없는 여러 팀과 공급업체, 서비스를 넘나들며 문제를 해결하게 됩니다. 조사할 때마다 종속 관계와 구간별 소요 시간을 지도로 그려야 하며, 답이 간단한 경우는 거의 없습니다.

지연 시간 문제를 완화하기 위한 모범 사례

가장 먼저 실천해야 할 중요한 원칙은 AI 제공을 모델의 문제가 아니라 제공 과정의 문제로 바라보는 것입니다. 추론만 최적화한다면 교통량과 도로, 교차로는 무시한 채 엔진만 개선하는 셈입니다. 모델 호출 전후에 이루어지는 단계를 포함해 사용자 입력부터 최종 답변에 이르는 전체 경로를 종합적으로 고려해야 합니다.

AI 워크로드는 거리와 대기열 깊이에 민감하므로 라우팅이 다시 중요한 최적화 수단이 됩니다. 추론과 검색 시스템 간의 근접성이 중요하며, 요청 유형에 맞는 적절한 용량 풀을 선택하는 것도 중요합니다. 엔드포인트가 정상 상태이더라도 과부하 상태이거나, 멀리 떨어져 있거나, 응답이 느린 다운스트림 종속성과 연결되어 있다면 항상 최선의 선택은 아닙니다. 시스템 부하가 높아질 때 지능형 라우팅은 사용 가능한 경험을 유지할지, 아니면 시스템이 서서히 붕괴할지를 가르는 결정적인 요소가 될 수 있습니다.

AI 수요는 갑작스럽게 급증하고 예측하기 어렵기 때문에 적응형 리소스 할당도 필수적이며, 용량 계획만으로는 이러한 현실을 해결할 수 없습니다. 시스템에는 요청 조정, 점진적 성능 저하, 모델 선택 전략, 단일 상호작용이 유발할 수 있는 오케스트레이션 범위 제한 등 부하 상황에서 리소스 소비를 제어할 수 있는 메커니즘이 필요합니다. 이는 단순한 비용 통제 수단이 아니라 안정성을 유지하기 위한 제어 장치입니다.

결론

지연 시간은 애플리케이션 제공에서 항상 근본적인 위험 요소였으며, ADC06이 이를 지적한 데에는 그만한 이유가 있습니다. AI는 이 문제를 더욱 두드러지고 심각하게 만들 뿐입니다. AI 사용 경험에서의 지연은 신뢰할 수 없다는 인상을 주며, 이러한 불신은 그 무엇보다 빠르게 도입을 저해하기 때문입니다.

오늘날 AI 지원 애플리케이션을 구축하고 있다면 지연 시간을 관리하는 것은 시스템이 제대로 작동한다는 인상을 주고, 실제 환경에서도 가용성을 유지하며, 비용이 걷잡을 수 없이 늘어나지 않도록 확장하고, 운영팀이 끊임없이 장애 원인을 추적하고 분석하는 상황에 놓이지 않게 하는 데 필수적입니다. 기존 원칙은 여전히 유효하지만 그에 따른 결과는 더욱 심각합니다. 사용자는 AI의 응답 시간을 시스템이 과연 제대로 작동할 것이라고 신뢰할 수 있는지를 판단하는 신호로 받아들이기 때문입니다.

전 세계 조직이 직면한 애플리케이션 딜리버리 10대 과제에 대해 자세히 알아보세요.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물