호환되지 않는 전송 정책은 예전에는 무언가 문제가 터진 뒤에야 비로소 주목받는 ‘아키텍처 위생’ 주제 중 하나였습니다. 익숙한 패턴이죠. 한 팀이 클라우드 A에서 라우팅을 변경하고, 다른 팀이 클라우드 B에서 보안 규칙을 업데이트하면, 갑자기 프로덕션 환경이 스테이징 환경과는 전혀 다른 방식으로 동작합니다. 누구도 일관되게 문제를 재현하지 못하고, 확실하게 말할 수 있는 건 그저 ‘아마 네트워크 문제일 것’이라는 정도뿐입니다.
ADC07은 이 문제의 본질을 명확히 지적합니다: 환경마다 딜리버리 정책이 일치하지 않으면 성능을 예측할 수 없고, 장애 조치의 신뢰성이 떨어지며, 확장에 병목이 생기고, 운영상 수많은 어려움을 겪게 됩니다.
이제 여기에 AI까지 더해지면, 이 문제는 더 이상 서서히 악화되는 혼란에 그치지 않고 상황을 가속하는 촉매가 됩니다.
성능에 미치는 영향
호환되지 않는 전송 정책은 무작위로 발생하는 듯한 성능 문제로 나타납니다. 무작위성은 언제나 가장 골치 아픈 유형의 성능 문제입니다. 엔지니어는 ‘무작위’를 고칠 수 없고, 그저 원인을 쫓을 수밖에 없기 때문입니다.
AI 상호작용은 여러 단계로 이어지는 경우가 많기 때문에 문제 해결이 정말 까다로워집니다. 단 한 번의 사용자 요청으로도 검색, 재순위화, 추론, 도구 호출에 이어 또 한 번의 추론 과정이 실행될 수 있습니다. 이 중 어느 단계에서든 정책이 서로 다른 환경의 경계를 넘게 되면 전체 사용자 경험에 지터가 발생합니다.
호환되지 않는 정책은 기존 애플리케이션이든 최신 애플리케이션이든 제공하는 과정에서 공급자 간 라우팅의 비효율성과 지연 시간 증가를 초래합니다. 이것이 기본적인 현실입니다. AI 서비스 제공에서는 이러한 비효율성으로 인해 모든 것이 기술적으로는 ‘정상 작동’ 중이더라도 시스템의 반응이 주저하는 듯하고 일관되지 않게 느껴집니다.
가용성에 미치는 영향
바로 이 지점에서 서로 호환되지 않는 전송 정책은 단순한 골칫거리를 넘어 장애를 유발하는 요인이 됩니다. 가용성은 부하가 큰 상황에서도 일관되게 작동하는지에 달려 있으며, 호환되지 않는 정책은 공교롭게도 바로 그런 상황에서 문제를 드러내는 경향이 있습니다.
장애 조치는 대표적인 예입니다. 한 공급자의 장애 조치 로직이 다른 공급자의 로직과 일치하지 않으면 트래픽을 원활하게 우회하지 못하거나, 기술적으로는 가동 중이지만 운영상 문제가 있는 리전으로 트래픽이 우회될 수 있습니다. ADC07은 이중화 및 장애 조치 방식이 서로 다른 하이브리드 멀티클라우드 환경에서 발생하는 이 문제를 직접적으로 지적합니다.
AI는 여기에 오케스트레이션과 에이전트 동작이라는 또 하나의 계층을 더합니다. 에이전트가 지연이나 장애를 겪으면 재시도하거나 대체 경로를 시도하는 경우가 많습니다. 환경마다 전송 정책이 다르면 이러한 대체 경로가 동일하게 작동하지 않을 수 있습니다. 그 결과 시스템이 일부 결과만 반환하거나, 워크플로 도중에 시간 초과가 발생하거나, 어떤 도구 엔드포인트에 연결되었는지에 따라 서로 다른 답변을 내놓는 ‘소프트 장애’가 발생합니다.
확장성에 미치는 영향
멀티클라우드 환경에서 확장성을 확보하려면 트래픽이 여유 용량이 있는 곳으로 자유롭게 이동할 수 있을 만큼 정책이 일관되어야 합니다. 전송 정책이 서로 호환되지 않으면 확장성은 가용 리소스가 있는 위치가 아니라 ‘올바른’ 정책이 적용되는 위치에 따라 제약을 받게 됩니다.
그 결과 일부 리전에는 과부하가 걸리는 반면, 다른 리전은 충분히 활용되지 못합니다. 인프라는 확장하면서 정책 간 일관성은 함께 확보하지 않을 때 AI 시스템에서 바로 이런 일이 발생합니다. 한곳에 충분한 컴퓨팅 자원이 있어도 라우팅 규칙, 속도 제한 또는 보안 제약으로 인해 이를 활용하지 못하게 됩니다.
AI는 ‘초당 요청 수’라는 기존의 사고방식도 무너뜨립니다. 이제 부하는 세션, 토큰, 다단계 체인으로 측정됩니다. 특정 환경에서 페이로드 크기, 동시 처리 수 또는 시간 초과 임계값에 더 엄격한 제한을 적용하면 의도치 않게 전체 시스템의 확장성에 한계가 생길 수 있습니다. 더 심각한 문제는 세션이 어느 환경에 배정되느냐에 따라 일부는 성공하고 일부는 실패할 경우, 사용자의 재시도로 부하가 증폭되어 확장 압력이 더 큰 확장 압력을 낳는 전형적인 악순환에 빠지게 된다는 점입니다.
운영 효율성에 미치는 영향
서로 호환되지 않는 배포 정책을 사용하면 운영팀이 엔지니어링 업무 대신 변환 작업에 매달리게 됩니다. 환경의 경계를 넘을 때마다 의도를 새롭게 해석해야 합니다. 클라우드마다 고유한 설정과 기본값이 있으며, 저마다의 독특한 방식으로 하루를 망쳐 놓습니다.
공급자마다 모니터링 및 보고 기준이 달라 이미 전체 상황을 종합적으로 파악하기 어렵고 인시던트 대응도 늦어집니다. AI는 문제 해결이 엔드투엔드로 이루어져야 하므로 상황을 더욱 악화시킵니다. 사용자가 “어시스턴트가 느려요”라고 말하면 추론, 검색, 라우팅, 도구 호출, 정책 적용 중 어디에서 문제가 발생했는지 파악해야 합니다.
정책 드리프트는 이론적인 문제가 아닙니다. AI 제공 파이프라인에서는 새로운 구성 요소를 빠르게 덧붙이는 경우가 많아 이 문제가 더욱 심화됩니다. 정책 일관성은 흔히 “나중에 정리하자”는 식으로 미뤄지는데, 운영 환경에서는 결국 문제를 일으키기 십상인 말입니다.
호환되지 않는 배포 정책을 완화하기 위한 모범 사례
해결책은 지루할 만큼 단순하지만, 바로 그렇기 때문에 실천하기 어렵습니다. 전송 정책을 누군가가 콘솔에서 클릭하며 쌓아 온 암묵지가 아니라, 핵심 관리 대상으로 취급해야 합니다.
즉, 정책은 선언적이고 이식 가능해야 하며 모든 환경에서 일관되게 적용되어야 합니다. 라우팅 규칙, 장애 조치 동작, 캐싱 결정, 속도 제한, 보안 제어는 애플리케이션과 함께 이동해야 하며, 코드를 검증하는 것과 동일한 방식으로 검증되어야 합니다. 클라우드 간 수동 변환에 의존하면 구성 불일치를 감수해야 하며, 이러한 불일치가 바로 “어제는 됐는데”라는 문제의 근본 원인입니다.
또한 보이지 않는 것은 관리할 수 없으므로 통합된 관측 가능성이 필요합니다. 클라우드별로 모니터링이 파편화되면 사각지대가 생기고, AI 시스템은 반드시 그 사각지대를 파고들 것입니다. 일관된 텔레메트리와 정책 검증 점검을 통해 문제 해결이 고고학적 발굴 작업으로 변하는 것을 막을 수 있습니다.
마지막으로, 특히 AI 시스템에서는 최신 트래픽 패턴을 이해하는 정책이 필요합니다. 에이전트와 도구 호출은 기존의 전송 정책이 전혀 예상하지 못했던 동작을 만들어냅니다. 모든 요청이 사용자가 직접 보내는 정형화된 REST 호출인 것처럼 정책을 적용하면 정상적인 AI 워크플로를 차단하거나 위험한 워크플로를 놓치게 됩니다. 어느 쪽도 가동 시간이나 위험 관리 측면에서 바람직하지 않습니다.
결론
ADC07의 핵심은 일관성 부족이며, 일관성 부족은 안정적인 제공을 저해하는 가장 큰 적입니다. AI는 상호작용을 늘리고 종속성을 연쇄적으로 연결하며 사용자가 예측 불가능성을 훨씬 더 용납하기 어렵게 만들기 때문에 그 위험성을 더욱 높입니다.
하이브리드 및 멀티클라우드 전반에서 빠르고 안정적이며 신뢰할 수 있는 AI 시스템을 구현하려면, 딜리버리 정책이 더 이상 특정 환경에만 통하는 관행에 머물러서는 안 됩니다. 정책을 일관되게 조율하고 이식 가능하게 만들며 동일한 기준으로 적용해야 합니다. 그렇지 않으면 전체 스택은 ‘대체로 작동하는’ 요소들을 임시로 이어 붙인 누더기처럼 동작하다가 실제 환경의 부하를 견디지 못하고 무너질 것입니다.
전 세계 조직이 직면한 10대 애플리케이션 딜리버리 과제에 대해 자세히 알아보세요.
작성자 소개
Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.
Lori Mac Vittie의 다른 블로그 게시물관련 블로그 게시물
애플리케이션 딜리버리 10대 과제란 무엇인가요?
F5는 애플리케이션 딜리버리 10대 과제 목록을 통해 조직이 애플리케이션, API 및 생성형 AI를 제공하고 보호하는 과정에서 직면하는 문제를 해결할 수 있도록 지원하고자 합니다.
AI 앱 제공의 10대 과제: 지연 시간을 처리하지 못하는 문제
AI로 인해 지연 시간은 단순한 성능 문제가 아니라 신뢰의 문제가 됩니다. 느린 ‘어시스턴트’ 응답은 망설이거나 제대로 작동하지 않는 것처럼 느껴지며, 토큰이 많은 프롬프트와 출력은 시스템이 정상일 때조차 처리해야 할 작업량을 늘립니다.
AI 앱 제공 10대 과제: 최적화되지 않은 트래픽 조정
AI는 기존의 트래픽 스티어링 전제를 무너뜨립니다. 백엔드는 서로 대체 가능하지 않고, 비용은 제각각이며, 에이전트는 예측할 수 없이 여러 방향으로 요청을 확산시킵니다. 따라서 라우팅 시 모델, GPU 상태, 데이터 지역성을 고려해야 합니다.
AI 앱 제공 10대 위험: 불충분한 트래픽 제어
기존의 속도 제한과 스로틀링만으로는 실제 장애 파급 범위를 제대로 파악할 수 없습니다. AI 워크로드는 여러 모델, 벡터 저장소, 서비스로 확산되며 지연 시간 급증, 연쇄 장애, 재시도를 유발합니다.
AI 앱 제공의 10대 과제: 불완전한 관측 가능성
AI는 저절로 확장되지 않습니다. 도구와 소유권의 경계를 허무는 통합 제어 플레인이 없다면, 추론 계층은 가장 취약하고 조율 부담이 큰 계층이 됩니다.
AI 앱 제공의 10대 위험 요소: 내결함성 및 복원력 부족
AI는 기존의 복원력 격차로 인한 비용을 훨씬 더 키웁니다. 단일 GPU나 종속성의 장애가 동기식 추론 체인 전반으로 연쇄 확산되어 지연 시간이 누적되고 출력 품질이 저하됩니다.