AI 에이전트 시대의 옵저버빌리티

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

AI 에이전트의 시대가 도래했습니다. 이들은 단순히 API를 호출하거나 콘텐츠를 전송하는 데 그치지 않습니다. 스스로 사고하고 판단하며, 계획을 세우고 업무를 위임합니다. 그리고 이러한 작업은 인프라, 서비스, 트래픽 관리 스택 전반에서 이루어집니다.

문제는 무엇일까요? 우리 시스템 대부분은 AI 에이전트가 무엇을 하고 있는지 전혀 파악하지 못한다는 것입니다.

기존의 옵저버빌리티는 서비스를 추적하기 위해 만들어졌습니다. 요청, 응답, 지연 시간, 경로처럼 실재하는 것들 말이죠. 요청이 왜 발생했는지를 이해하기 위한 것이 아니라, 단지 요청이 발생했다는 사실만 파악하도록 설계되었습니다. 하지만 이제 트래픽은 에이전트 내부의 재귀적 추론 루프에서 시작될 수도 있으며, 로그에는 페이로드와 200 응답 코드가 포함된 /search 대상 POST 요청만 표시될 뿐입니다.

그건 관측 가능성이 아닙니다. 불투명성일 뿐입니다.

AI 에이전트를 특히 프로덕션 환경에서 안전하게 운영하려면 트래픽 관리 시스템이 전략의 핵심 요소가 되어야 합니다.

하지만 먼저 관측 가능성이 그에 발맞춰 발전해야 합니다. 그 출발점은 세 가지 핵심 격차를 해소하는 것입니다.

1. 요청뿐만 아니라 의사 결정도 로그로 기록하세요

에이전트는 단순히 응답만 하는 것이 아닙니다. 결정을 내리고, 평가하며, 처리를 미루거나 경로를 변경하고, 에스컬레이션하거나 도구를 호출합니다. HTTP 계층만 로깅한다면 실제로 중요한 부분, 즉 그런 일이 발생한 이유를 놓치게 됩니다.

에이전트의 의도, 선택한 작업, 검토한 대안, 그리고 결과를 기록하는 구조화된 로그가 필요합니다. 단순한 상태 코드가 아니라 의사 결정 경로가 필요합니다.

해야 할 일:

• 로그 형식을 확장하여 다음과 같은 의미론적 필드를 포함하세요: 의도, 수행한 작업, 신뢰도 점수, 그리고 정책 제약 조건.
• 의사결정에 이를 내린 에이전트를 태그하고, 도구 호출 전반에 걸쳐 처음부터 끝까지 추적하세요.

2. 경로뿐만 아니라 의미도 추적하세요

AI 에이전트가 동일한 엔드포인트로 보내는 두 POST 요청은 전혀 다른 의미를 가질 수 있습니다. 하나는 사실 확인 요청이고, 다른 하나는 콘텐츠 생성 트리거일 수 있습니다. 경로는 같지만 목적과 맥락, 위험은 서로 다릅니다.

이는 시맨틱 태깅이 라우팅과 관측 가능성에서 핵심 요소로 자리 잡아야 한다는 뜻입니다.

해야 할 일:

• 인라인 검사(페이로드 또는 헤더)를 사용하여 다음과 같은 의도 태그를 추출합니다: summarize, verify_identity, or generate.
• 이러한 태그를 라우팅, 속도 제한, 인증 결정에 활용하세요. 모든 POST 요청을 동일하게 취급해서는 안 됩니다.

3. 시간 경과에 따른 동작 모니터링

에이전트는 상태 비저장 클라이언트처럼 동작하지 않습니다. 에이전트는 진화하고, 재시도하고, 지연되고, 적응합니다. 따라서 관측 가능성 시스템은 단일 요청 추적을 넘어 행동 프로필을 구축하기 시작해야 합니다.

에이전트의 "정상적인" 동작이 어떤 모습인지 알아야 합니다. 재시도 횟수, 사용하는 도구, 작업에 걸리는 시간 등을 파악해야 합니다. 그리고 이러한 동작에 변화가 생겼을 때도 이를 알아차릴 수 있어야 합니다.

해야 할 일:

• 각 에이전트 ID별로 재시도 횟수, 작업 깊이, 도구 사용량에 대한 이동 지표를 추적하세요.
• 이상 징후에 대한 알림: 반복 루프, 지연 시간 변동, 도구의 과도한 호출.

트래픽 관리에 미치는 영향

이 모든 변화는 애플리케이션의 트래픽을 제어하고 보안을 유지하며 확장하는 데 사용하는 시스템에 실질적인 영향을 미칩니다:

AI 에이전트는 사용자가 아닙니다. 클라이언트도 아닙니다. 전통적인 의미의 서비스조차 아닙니다. 이들은 자율적으로 작동하는 워크플로입니다. 관측 가능성부터 시작해 이들을 그에 맞게 다루지 않는 한, 우리는 계속 앞을 보지 못한 채 나아가게 될 것입니다.

그러니 이제 트래픽은 더 이상 단순한 트래픽이 아닙니다. 인프라도 그런 것처럼 작동해서는 안 됩니다.

에이전트가 지켜보고 있다고 생각하고 로깅을 시작하세요. 실제로 그럴 가능성이 높으니까요.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물