AI 앱 제공의 10대 과제: 불완전한 관측 가능성

업계 동향 | 2026년 6월 18일

클라우드 네이티브 앱이 정원용 호스 몇 개라면, AI 추론 및 에이전트 시스템은 소방 헬멧을 쓰고 주스 팩을 든 유아가 조종하는 산업용 스프링클러 설비와 같습니다. 물이 어디로 향하는지 안다고 생각하지만 실제로는 그렇지 않습니다. 상황을 알아차렸을 때는 이미 값비싼 무언가가 흠뻑 젖은 뒤입니다.

추론 워크로드와 에이전트 기반 실행은 기존 서비스처럼 동작하지 않습니다. 예측 가능한 요청 경로를 따르지도, 워크플로를 일관되게 반복하지도 않으며, 얌전히 실패하지도 않습니다. 스스로 런타임을 구성하고, 부분적인 결과에 따라 경로를 바꾸며, 재시도가 현명하다고 판단하면 다시 시도하고, 변동성이 매우 큰 폭발적 패턴으로 리소스를 소비합니다. 관측 가능성 전략이 평균값이나 집계값, 또는 30초 단위 대시보드에 기반한다면 이는 운영상의 직무 유기입니다.

성능에 미치는 영향

추론 지연 시간은 하나의 지표로 설명할 수 없으며, 특정 단일 계층에만 좌우되는 것도 아닙니다. 모델 선택, 토큰 수, GPU 대기열 깊이, 업스트림 데이터 액세스 시간은 물론, 에이전트가 실행 도중 수행하는 온갖 프롬프트 조작에도 영향을 받습니다. 에이전트는 계획을 알리지 않은 채 분기하거나, 작업을 연쇄적으로 수행하거나, 재시도함으로써 상황을 더욱 복잡하게 만듭니다.

의도, 토큰 생성, 모델 경로, 실행 계보 수준에서 성능을 파악할 수 없다면 엉뚱한 구성 요소를 탓하고, 잘못된 계층을 최적화하거나, 부적절한 리소스를 확장하게 됩니다. 그사이 사용자(사람이든 자동화된 시스템이든)는 그저 “AI는 느리다”고 결론 내릴 것입니다.

가용성에 미치는 영향

기존 상태 확인은 “응답했는가?”에만 답합니다. AI 워크로드에는 “이 작업에서 기대되는 수준으로 응답했는가?”라는 질문이 필요합니다.

추론 시스템은 좀처럼 완전히 중단되지 않습니다. 대신 겉보기에는 멀쩡하지만 실제로는 사용할 수 없는 상태로 성능이 저하됩니다. 작업 유형, 예상되는 최소 지연 시간, 품질 임계값을 파악할 수 없다면 느린 응답, 오래된 캐시 적중, 눈에 띄지 않는 환각 현상도 모두 성공처럼 보일 수 있습니다. 에이전트의 의사 결정이 계속 쌓이면 재시도는 보이지 않는 루프가 되어, 무언가 무너지기 직전까지도 정상 트래픽처럼 보입니다.

여기서 운영상의 악몽은 다운타임이 아니라, 잘못되거나 불완전하거나 맥락에 맞지 않는 결과가 성공으로 처리되는 것입니다.

확장성에 미치는 영향

가시성이 없는 대상은 확장할 수 없으며, 비용의 귀속 대상을 파악할 수 없다면 비용 최적화는 더더욱 불가능합니다. AI 용량 계획에서는 다음 사항을 고려해야 합니다:

토큰 처리량
모델 동시 실행 및 모델 전환 비용
GPU 포화도
에이전트 재시도 증폭
호출당 비용
연결된 단계 전반의 실행 시간 증가

그 정도의 가시성이 없으면 과도한 프로비저닝(재정적 후회)과 부족한 프로비저닝(지원 문의, 화난 PM, 긴급 대응 상황실) 사이를 오가게 됩니다. 어느 쪽도 성숙도를 입증하지 못하며, 둘 다 관측 가능성 부채가 있음을 보여줄 뿐입니다.

모범 사례

AI를 완벽하게 관측한다는 것은 단순히 더 많은 로그를 수집하는 것이 아니라, AI가 무엇을 하려고 했는지, 실제로 무엇을 했는지, 그리고 그 과정에서 무엇을 사용했는지를 파악할 수 있도록 더 빠르고 풍부하며 행동에 부합하는 텔레메트리를 수집하는 것입니다. 이를 위해서는 무슨 일이 일어났는지뿐만 아니라 왜 그런 일이 일어났는지, 어떤 가정하에 이루어졌는지, 그리고 어떤 비용이 들었는지까지 설명할 수 있는 계측이 필요합니다.

이는 에이전트가 구성한 워크플로의 실행 계보를 추적하고, 비용과 지연 시간을 핵심 운영 신호로 격상하며, 모델의 동작을 엔드포인트가 아닌 의도와 연계하고, 에이전트가 명시한 기대 사항을 관측 가능성 메타데이터에 통합하는 것을 의미합니다. 메타데이터는 단순한 ‘요청 정보’에서 ‘런타임 계약’으로 발전하며, 호출 수준에서 지연 시간 예산, 재시도 기본 설정, 데이터 민감도 레이블, 에이전트 우선순위 등급, 비용 상한을 포함합니다.

이러한 발전이 이어지면서 고속 텔레메트리 플레인이 부상할 것입니다. 이는 스토리지에 과부하를 주거나 SLO를 위협하지 않으면서 토큰별, 단계별, 에이전트별 신호를 포착할 수 있도록 특별히 설계된 1밀리초 미만의 데이터 스트림입니다. 이 텔레메트리 플레인은 추론 계층 가까이에 위치해 의미론적 압축을 지원하고, 비용, 용량, 상태 및 의도 부합 여부에 대한 지속적이고 지연 시간이 짧은 인사이트를 제공할 가능성이 큽니다. 이것이 없다면 AI 옵저버빌리티는 기존 파이프라인에 과부하를 일으키거나, 유용하게 활용하기에는 너무 늦게 정보를 제공하게 될 것입니다.

시스템은 이 텔레메트리를 배치 방식이 아닌 준실시간으로 수집하고, 상호 연관성을 분석하며, 이를 바탕으로 추론해야 합니다. 또한 적응형 라우팅, 에이전트 처리량 제한, 저비용 추론 경로 선택을 수행하고, 통제 불능 상태의 워크플로가 장애나 막대한 비용 청구로 이어지기 전에 조기에 감지하는 데 활용해야 합니다.

AI가 함께하면 딜리버리 방식이 달라집니다

AI는 명확하거나 예측 가능하게, 또는 요란하게 고장 나지 않으며, 불완전한 관측 가능성으로 인해 비즈니스 측에서 먼저 알아차릴 때까지 문제를 인지하지 못하게 됩니다.

인텔리전스가 새로운 애플리케이션 계층이라면, 관측 가능성의 초점은 “무슨 일이 일어났는가?”에서 “무슨 일이 일어났어야 했는가, 왜 이 경로를 택했는가, 그리고 그로 인한 지연 시간과 위험, 비용을 감수할 만한 가치가 있었는가?”로 전환되어야 합니다.

이를 실시간으로 답할 수 있다면, AI를 도입할 준비가 된 것입니다.

전 세계 조직이 직면한 애플리케이션 딜리버리의 10대 과제에 대해 자세히 알아보세요.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물