AI 앱 제공 10대 과제: 최적화되지 않은 트래픽 조정

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

트래픽 스티어링은 요청이 어디로 전달되고 시스템을 통해 어떻게 흐르며, 어떤 리소스가 어떤 워크로드를 처리할지를 결정합니다. 기존 애플리케이션 전송 환경에서 스티어링은 인프라를 효율적으로 활용하고 서버, 서비스, 리전 전반에 트래픽을 원활하게 분산하도록 지원합니다. 하지만 AI는 새로운 트래픽 유형과 종속성 체인, 컴퓨팅 부하를 가져옵니다. 모델 크기, 컴퓨팅 가용성, 에이전트 동작, 데이터 지역성을 고려하는 최신 스티어링 전략이 없다면 조직은 피할 수 있는 성능 저하와 비용 증가를 겪고 전송 스택 전반의 안정성이 약화될 수 있습니다.

기존의 트래픽 스티어링은 예측 가능한 워크로드와 비교적 균일한 서버 성능을 전제로 합니다. 또한 모든 백엔드 인스턴스가 유효한 요청이라면 무엇이든 처리할 수 있다고 가정합니다. 하지만 리소스의 성능, 비용, 가용성이 크게 다른 AI 시스템에서는 이러한 가정이 성립하지 않습니다. 트래픽 스티어링을 최적화하지 않으면 특정 경로에 부하가 집중되고 가용 용량이 충분히 활용되지 않으며, 병목 현상으로 인해 전체 시스템의 성능이 저하됩니다.

AI로의 전환

AI 워크로드는 서로 호환되지 않습니다. 특정 GPU 유형에서 실행되는 모델은 다른 GPU에서 동일하게 작동하지 않을 수 있으며, 아예 구동되지 않을 수도 있습니다. 지연 시간은 배치 크기, 토큰 처리량, 모델 변형 및 프롬프트 복잡도에 따라 달라집니다. 에이전트는 여러 도구와 서비스를 연계하므로, 컨텍스트와 추론 경로에 따라 트래픽이 스택의 서로 다른 계층을 통과하게 됩니다.

다음 요소를 고려해 의사 결정을 내려야 하므로 트래픽 조정은 더욱 복잡해집니다:

• 모델별 하드웨어 요구 사항
• 가변적인 추론 비용
• 지역별 데이터 제한
• 임베딩 및 벡터 저장소를 중심으로 한 데이터 중력
• 에이전트의 예측 불가능한 팬아웃 동작

AI 시스템에서 최적의 백엔드는 단순히 ‘부하가 가장 적은 백엔드’가 아닙니다. 바로 이 특정 유형의 AI 작업을 정확하고 합법적이며 효율적으로 수행할 수 있는 백엔드입니다. 기존의 트래픽 조정 방식으로는 이러한 차이를 구분할 수 없습니다.

성능에 미치는 영향

잘못된 트래픽 조정은 여러 측면에서 성능을 저하시킵니다. 트래픽이 GPU 용량이 부족한 백엔드로 라우팅되어 토큰 생성 속도가 느려지고 지연 시간이 늘어날 수 있습니다. 또한 트래픽 조정 시 데이터 지역성을 고려하지 않으면 요청이 불필요하게 여러 리전이나 데이터 계층을 거치게 되어 응답 시간이 길어질 수 있습니다.

트래픽 조정 시 워크로드 유형을 고려하지 않으면 에이전트가 생성한 트래픽이 적절하지 않은 모델 계층으로 전달됩니다. 예를 들어 단순한 작업에는 지나치게 큰 모델이, 복잡한 작업에는 지나치게 작은 모델이 할당될 수 있습니다. 이로 인해 효율성이 떨어지고 처리량이 감소합니다. 더 많은 AI 서비스가 수평적으로 확장될수록 일관성 없는 트래픽 조정은 지연 시간 편차와 처리 병목 현상을 직접 유발하는 요인이 됩니다.

가용성에 미치는 영향

AI 워크로드는 시스템을 한계까지 몰아붙입니다. 최적화되지 않은 트래픽 라우팅은 특정 GPU 노드나 추론 클러스터에 갑작스러운 과부하를 일으켜 스로틀링, 콜드 스타트 또는 완전한 장애를 초래할 수 있습니다. 에이전트는 응답이 느린 엔드포인트를 만나면 재시도하거나 요청을 에스컬레이션하는 경우가 많기 때문에, 비효율적인 라우팅은 간접적으로 트래픽을 증폭시켜 가용성 문제를 악화시킵니다.

리전별 용량이나 데이터 레지던시를 고려하지 않는 트래픽 조정은 의도치 않게 요청을 용량이 제한된 영역으로 라우팅하여 국지적인 서비스 중단을 일으킬 수 있습니다. 또한 모델 상태, GPU 포화도, 초당 토큰 처리량 저하와 같은 AI 지표에 맞춘 상태 확인을 트래픽 조정에 반영하지 않으면, 이미 로테이션에서 제외되었어야 할 비정상 백엔드로도 트래픽이 계속 유입됩니다.

안정성에 미치는 영향

AI 워크로드가 일관된 결과를 내기 위해서는 안정적이고 예측 가능한 라우팅이 필요합니다. 트래픽 조정이 일관되지 않거나 워크로드의 특성을 고려하지 않으면 시스템이 예측할 수 없게 동작합니다. 동일한 두 요청이 성능 특성이 서로 다른 모델 변형으로 라우팅될 수 있으며, 이로 인해 지연 시간이 불규칙해지고 응답이 달라질 수 있습니다.

에이전트형 워크플로에서는 신뢰할 수 없는 트래픽 조정으로 인해 서로 의존하는 일련의 작업이 중단될 수 있습니다. 한 구간의 트래픽이 느리거나 과부하된 백엔드로 라우팅되면 재시도와 재계획의 여파가 파이프라인 전체로 확산되어 후속 단계의 위험이 가중됩니다. 또한 최적화되지 않은 트래픽 조정으로 인해 트래픽이 일관되지 않은 위치로 전달되면 장애를 재현하고 진단하기가 더 어려워져 디버깅도 복잡해집니다.

최적화되지 않은 트래픽 스티어링을 완화하기 위한 모범 사례

AI 시대의 트래픽 조정을 효과적으로 최적화하려면 다음 두 가지가 중요합니다. 워크로드가 서로 충돌하지 않도록 트래픽을 분할하는 것과 실시간으로 적응할 수 있는 프로그래밍 가능한 조정 로직을 사용하는 것입니다. 이를 통해 모델 부하, 에이전트 동작 및 데이터 지역성의 예측 불가능한 변화에 대응할 수 있습니다.

먼저 트래픽 세분화부터 시작하세요. 대화형 요청, 배치 작업, 에이전트가 생성한 흐름, 고부하 추론 작업을 각각 별도의 라우팅 경로로 분리합니다. 워크로드마다 요구되는 성능 특성이 다릅니다. 예를 들어 지연 시간에 민감한 작업에는 빠르고 부하가 적은 백엔드가 필요하지만, 대규모 또는 탐색형 에이전트 워크플로는 우선순위가 낮거나 처리가 지연되어도 괜찮습니다. 세분화를 통해 변동이 심하거나 갑자기 급증하는 AI 흐름을 격리하면 사용자 대상 경로나 공유 서비스에 과부하가 발생하는 것을 방지할 수 있습니다.

다음으로 프로그래밍 가능한 트래픽 조정 규칙을 도입합니다. 정적 트래픽 조정 전략은 백엔드가 균일하고 요청 형태를 예측할 수 있다고 가정하기 때문에 AI 부하가 발생하면 제대로 작동하지 않습니다. 프로그래밍 기능을 활용하면 전송 계층에서 GPU 포화도, 토큰 처리량, 대기열 깊이, 모델 유형, 심지어 프롬프트 크기까지 실시간 조건에 따라 트래픽을 라우팅할 수 있습니다. 모델 상태가 저하되거나 특정 리전의 임베딩 저장소에 과부하가 걸리거나 특정 요청 유형에 특정 하드웨어 프로필이 필요한 경우, 프로그래밍 가능한 로직이 즉시 라우팅을 조정합니다. 이를 통해 AI 파이프라인의 응답성을 유지하고 연쇄적인 성능 저하를 방지할 수 있습니다.

마지막으로 트래픽 조정을 데이터 지역성에 맞게 구성하세요. 추론 및 검색 작업을 해당 임베딩이나 구조화된 데이터와 가장 가까운 리전 또는 컴퓨팅 풀로 라우팅하세요. 이렇게 하면 지연 시간이 줄고 불필요한 리전 간 트래픽을 방지할 수 있으며, 특히 여러 검색 및 추론 단계를 연계하는 에이전트형 워크플로에서 효과적입니다.

이러한 완화 조치가 효과적인 이유는 제한된 동작(세분화 및 속도 제한을 통해)과 적응형 인텔리전스(프로그래밍 기능을 통해)를 결합하기 때문입니다. AI 워크로드는 예측 가능한 방식으로 동작하지 않으므로, 프로그래밍 가능한 트래픽 조정을 통해 환경이 안정성을 유지하기 위해 예측 가능한 동작에 의존하지 않도록 할 수 있습니다.

결론

AI는 대부분 예측 가능했던 트래픽을 동적이고 가변적이며, 종종 스스로 증폭되는 형태로 변화시켰습니다. 정적 정책과 획일적인 백엔드를 기반으로 하는 기존의 트래픽 조정 방식은 실행 도중 형태가 바뀌고, 여러 리소스 유형에 걸쳐 있으며, 실시간 모델 동작에 반응하는 워크로드의 변화 속도를 따라갈 수 없습니다. 최적화되지 않은 트래픽 조정은 단순히 시스템 속도를 저하시키는 데 그치지 않고, 전체 스택의 성능과 가용성, 안정성을 서서히 약화시킵니다.

적절한 트래픽 조정 전략을 활용하면 AI 워크로드가 더욱 복잡해지고 애플리케이션 동작에서 차지하는 비중이 커지더라도 조직은 안정성을 유지할 수 있습니다. 최적화된 트래픽 조정은 부하가 큰 상황에서도 성능을 보존하고, 트래픽 급증 시 가용성을 유지하며, AI가 더 이상 기존 트래픽의 규칙을 따르지 않는 환경에서도 안정적인 동작을 보장하는 제어 지점이 됩니다.

전 세계 조직이 직면한 애플리케이션 딜리버리의 10대 과제에 대해 자세히 알아보세요.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물