최근 이사회 회의실과 실적 발표 콘퍼런스 콜, 그리고 끊임없이 이어지는 기고문에서 한 가지 주장이 활발히 논의되고 있습니다. AI의 경제성을 한 단계 더 크게 개선하는 일은 더 빠른 칩만으로는 이루어지지 않을 것이라는 주장입니다.
그 주장은 타당하지만, 여기서 얻을 수 있는 교훈은 더 광범위합니다. 토큰당 비용이 처음으로 급감한 것은 실리콘과 소프트웨어 전반에 걸친 발전이 누적된 결과였습니다. 더 빠른 가속기, 향상된 메모리 시스템, 저정밀도 형식, PagedAttention, 연속 배칭, 키-값 캐시 최적화, vLLM과 같은 추론 프레임워크가 그 예입니다. 업계는 각 가속기에서 유용한 연산을 끌어내는 능력을 비약적으로 향상시켰습니다.
그 후 업계는 동일한 원칙을 적용할 다음 영역을 찾기 시작했고, 데이터 경로, 특히 스토리지에서 그 답을 찾았습니다. 이러한 작업은 필수적이지만, 이는 전체 이야기의 절반에 불과합니다.
데이터 경로는 이야기의 절반에 불과하다
AI 팩토리에서 스토리지는 더 이상 수동적인 역할에 머물지 않습니다. 모델은 스토리지에서 로드되고, 체크포인트는 스토리지에서 복원됩니다. 검색 증강 생성도 지연 시간에 대한 부담 속에서 스토리지에 의존합니다. 규모가 충분히 커지면 이미 완료된 작업을 다시 계산하는 데 가속기의 값비싼 자원이 소모되므로, 컨텍스트 및 캐시 계층이 GPU와 시스템 메모리를 넘어 확장될 수 있습니다.
하지만 AI의 경제성은 서로 연결된 두 가지 흐름에 의해 좌우됩니다. 하나는 모델에 공급되는 데이터의 이동입니다. 즉, 바이트가 어디에 저장되어 있는지, 얼마나 빠르게 가져올 수 있는지, 얼마나 자주 이동해야 하는지에 관한 것입니다. 다른 하나는 추론 요청이 사용자, 애플리케이션 또는 에이전트에서 출발해 트래픽 관리와 정책 적용을 거쳐 모델 서버에 도달한 뒤 다시 돌아오는 경로입니다.
두 번째 흐름은 전송 중인 데이터를 운반합니다. 많은 프로덕션 환경에서 이 흐름은 컴퓨팅 및 스토리지에 비해 여전히 측정과 최적화가 충분히 이루어지지 않고 있습니다. 바로 여기에서 다음 단계의 효율 향상과 추가적인 낭비가 결정될 것입니다.
토큰세
GPU 노드에서 호스트 중앙 처리 장치는 유휴 상태로 있지 않습니다. 네트워킹을 실행하고, 전송 계층 보안 연결을 종료하며, 정책을 적용하고, 동서 트래픽을 처리하고, 텔레메트리를 생성하며, 인터페이스와 가속기 간에 데이터를 이동합니다. 이러한 작업은 어느 것도 토큰을 직접 생성하지 않습니다. 이 작업이 병목 현상을 일으키면 유효한 추론 출력이 감소합니다.
이를 토큰세라고 부를 수 있습니다. 호스트 리소스를 소모하면서 노드의 경제적 산출량을 눈에 띄지 않게 깎아 먹는 인프라 오버헤드입니다. 해답이 항상 더 빠른 호스트 프로세서인 것은 아닙니다. 대규모 환경에서는 적합한 네트워킹, 암호화, 트래픽 관리 및 보안 기능을 이미 데이터 경로에 배치된 프로그래밍 가능 인프라로 이전할 수 있습니다.
F5가 의뢰한 The Tolly Group의 독립 테스트에서 NVIDIA BlueField-3 DPU에 배포된 F5 BIG-IP Next for Kubernetes는 테스트한 CPU 호스팅 대안보다 최대 40% 높은 토큰 처리량, 61% 빠른 첫 토큰 생성 시간, 34% 낮은 요청 지연 시간을 제공했습니다.
재무적 효과는 명확합니다. 고정된 인프라 규모로 요구되는 서비스 수준 목표를 충족하면서 판매 가능한 토큰을 1.4배 더 많이 생성할 수 있다면, 토큰당 인프라 비용은 약 29% 감소합니다. 수요가 있는 경우 가속기당 매출도 증가할 수 있습니다. 이는 단순히 네트워크가 더 빠르다고 말하는 것보다 비즈니스 측면에서 더 유용한 주장입니다.
라우팅이 스케줄링으로 진화하다
기존의 로드 밸런싱은 요청을 분산합니다. 이는 요청들이 대체로 서로 바꿔 처리할 수 있을 때 효과적입니다. 하지만 대규모 언어 모델 추론에서는 요청 처리 비용이 컨텍스트 길이, 출력 길이, 캐시 상태, 모델 선택, 대기열 깊이, 현재 가속기 부하에 따라 달라지므로 이러한 가정이 성립하지 않습니다.
- 짧은 프롬프트에 간단한 답변을 생성하는 경우는 매우 긴 컨텍스트에 긴 답변을 생성하는 경우보다 비용이 몇 자릿수나 더 저렴할 수 있습니다.
- 웜 키-값 캐시에 도달한 요청은 비용이 많이 드는 프리필 재계산을 피할 수 있습니다.
- 프리필 부하가 큰 요청과 디코딩 부하가 큰 요청이 동일한 가속기에 할당되면 서로 간섭할 수 있습니다.
- 대기 중인 요청이 8개인 모델 서버와 하나도 없는 모델 서버가 상태 비저장 검사에서는 똑같이 정상으로 보일 수 있습니다.
이러한 상황을 파악할 수 없는 트래픽 관리자는 구조적으로 잘못된 배치 결정을 내릴 수밖에 없습니다. 그 비용은 두 가지 형태로 나타납니다. 하나는 사용자가 첫 번째 토큰이 생성될 때까지 체감하는 지연 시간이고, 다른 하나는 중복 작업으로 인해 기업이 부담하는 재연산 비용입니다.
따라서 AI 팩토리에서 라우팅은 더 이상 단순한 네트워킹 기능에 그치지 않습니다. 이는 네트워크에서 이루어지는 스케줄링 결정입니다. 실시간 모델 서버 상태, 대기열 깊이, 가속기 텔레메트리, 캐시 지역성, 추론 프레임워크의 런타임 신호 등 모든 스케줄러에 필요한 동일한 입력 정보를 활용합니다.
보안 역시 비용 함수다
AI 팩토리의 보안은 일반적으로 프롬프트 인젝션, 데이터 유출, 에이전트의 권한 초과, 규제 리스크와 같은 위험의 관점에서 논의됩니다. 이 모든 위험은 실제로 존재합니다. F5의 연구에 따르면 조직의 88%가 AI와 관련된 운영 또는 보안 문제를 하나 이상 겪고 있다고 답했습니다.
단위 경제성 측면에서도 고려할 점이 있습니다. 모델 실행 전에 차단된 요청은 불필요한 추론 비용을 방지합니다. 전체 응답이 생성된 후에야 평가되는 요청은 정책이 적용되기 전에 컴퓨팅 자원을 소모합니다. 여기에 스크래핑 트래픽, 재시도 폭주, 루프에 빠진 에이전트 또는 반복적인 탈옥 시도까지 더해지면, 정책 집행 지점은 위험뿐 아니라 비용에도 영향을 미치기 시작합니다.
원칙은 모든 제어 수단을 한곳으로 옮기는 것이 아닙니다. 일부 보호 조치는 애플리케이션 또는 모델 수준에서 더 심층적인 평가가 필요하며, 이러한 제어에도 자체적인 컴퓨팅 비용이 발생합니다. 목표는 실효성 있는 제어 중 비용이 가장 적게 드는 것을 가능한 한 조기에 적용한 다음, 가치가 더해지는 지점에서 심층 검사를 수행하는 것입니다.
에이전트 트래픽은 이 문제를 더욱 심화합니다. 에이전트는 재시도하고, 요청을 여러 갈래로 확장하며, 모델을 호출하는 도구를 호출하고, 그 모델은 다시 다른 모델을 호출합니다. 이로 인해 인간 사용자를 기준으로 설계된 속도 제한으로는 감당할 수 없는 기계적 속도의 트래픽이 발생합니다. 장애가 항상 보안 침해로 나타나는 것은 아닙니다. 때로는 단순히 비용 청구서로 나타납니다.
상업적 계층이 빠져 있습니다
운영자가 테넌트, 모델, 사용자 및 애플리케이션별로 토큰 수를 집계할 수 없다면 가격 책정, 사용량 측정, 비용 배부, 공정성 보장 또는 마진 방어가 어려워집니다. 인프라는 전력 소비량과 상태에 관한 뛰어난 텔레메트리를 제공할 수 있지만, 매출 귀속에 대한 가시성은 제한적일 수 있습니다.
멀티테넌시는 문제를 더욱 악화시킵니다. 효과적인 격리와 테넌트별 사용량 집계 없이 GPU 인프라를 공유하면 한 테넌트의 사용량 급증이 다른 테넌트의 서비스 수준 위반으로 이어질 수 있습니다. AI 클러스터에서 발생하는 노이즈 네이버 문제는 단순히 성능상의 불편에 그치지 않습니다. 고객 이탈로 이어질 수 있습니다.
추론 경로는 사용자, 애플리케이션, 모델, 테넌트 전반의 요청과 응답을 관찰할 수 있으므로 가장 일관된 통합 관점을 제공합니다. 모델 서버와 과금 시스템도 여전히 중요하지만, 측정과 정책 적용을 일관되게 수행할 수 있는 지점은 바로 추론 경로입니다.
추론 서비스 플레인
이러한 문제들을 종합해 보면 세 번째 아키텍처 계층이 선명하게 드러납니다. 컴퓨팅 계층은 모두가 예산을 책정하는 GPU와 가속기로 구성됩니다. 데이터 경로는 저장, 검색, 캐싱, 메모리를 포괄합니다. 추론 서비스 계층은 요청이 가속기에 도달하는 방식, 실제 시스템 상태에 따라 요청을 스케줄링하는 방식, 불필요한 컴퓨팅 자원을 소모하기 전에 중단할 작업, 사용량 집계 대상, 비용 청구 대상을 관리합니다.
이 계층은 이미 존재하지만, 대개는 여기에는 로드 밸런서, 저기에는 API 게이트웨이, 그리고 서비스 메시, 웹 애플리케이션 방화벽, 텔레메트리 수집기, 마지막에는 스프레드시트가 놓이는 식으로 여러 구성 요소를 우연히 조합한 형태입니다. 공유 텔레메트리, 일관된 정책, 의도적으로 배치된 정책 집행 지점을 갖춘 하나의 통합 시스템으로 설계된 경우는 드뭅니다.
F5 BIG-IP Next for Kubernetes는 호스트 또는 NVIDIA BlueField DPU에서 실행할 수 있습니다. 추론 경로 전반에 걸쳐 Kubernetes 네이티브 트래픽 관리, 보안, 멀티테넌트 정책, 관측 가능성, 지능형 부하 분산 및 토큰 거버넌스를 제공합니다.
애플리케이션 계층에서 F5 AI Gateway는 프롬프트, 응답, 모델 및 도구 전반에 걸쳐 모델 및 에이전트 거버넌스, 라우팅, 캐싱, 사용량 측정, 보안 제어 및 감사 기능을 제공합니다.
아키텍처의 방향성은 그 어떤 개별 제품보다 중요합니다. 정책을 명확하게 정의하고, 가장 효과적인 지점에서 이를 적용하며, 인프라와 애플리케이션 계층 전반에서 텔레메트리를 공유해야 합니다. 이를 통해 운영자는 사각지대를 줄이고 각 팀이 서로 다른 제어 체계를 별도로 유지하는 일을 방지할 수 있습니다.
경로를 의도적으로 설계하기
다음 AI 인프라 검토에서는 세 가지 질문을 다뤄야 합니다. 이미 프로비저닝된 가속기 용량에서 유용한 토큰이 얼마나 산출되고 있습니까? 토큰 생성에 직접 기여하지 않는 작업에 호스트 처리 자원이 얼마나 소모되고 있습니까? 정책이 적용되기 전에 거부 대상 요청이 모델 실행 단계까지 도달하면 어느 정도의 비용이 발생합니까?
업계 전반에서 논의의 초점은 용량에서 전환 효율로, 즉 어떤 인프라를 보유하고 있는지에서 그 인프라로부터 무엇을 안정적으로 끌어낼 수 있는지로 옮겨가고 있습니다. AI 경제성을 크게 개선할 다음 동력은 더 빠른 칩이나 스토리지 하나만으로는 나오지 않을 것입니다. 추론 경로를 하나의 경제 시스템으로 바라볼 때 비로소 가능해질 것입니다.
컴퓨팅 플레인은 이미 구매되었습니다. 데이터 경로는 최적화되고 있습니다. 추론 서비스 플레인의 주도권은 아직 정해지지 않았습니다.
자세히 알아보려면 AI 성능 보고서를 읽어보세요.
작성자 소개
관련 블로그 게시물
추론 경로가 곧 트래픽 경로다: AI 보안이 자리해야 할 곳
이제 AI 트래픽에는 의도와 데이터, 작업이 담깁니다. AI 보안을 적용하는 데 추론 경로가 가장 중요한 지점이 된 이유를 알아보세요.
최전선 AI를 네트워크 경계에서 차단하기: 인라인 제어가 Mythos급 모델에 맞서는 핵심 우위인 이유
포스트-Mythos 시대에 사이버 방어가 어떻게 변화했으며, 조직이 통제 지점을 바꿔야 하는 이유를 알아봅니다.
애플리케이션 딜리버리 컨트롤러가 다시 전략적 의제로 떠오르고 있습니다
AI로 인해 애플리케이션 제공의 중요성이 더욱 커지고 있습니다. F5의 Nirav Shah가 새로운 Gartner® ADC 연구와 이것이 엔터프라이즈 인프라 의사 결정에 미치는 영향에 대해 설명합니다.
증거로 입증하는 AI 보안: Gartner SRM에서 선보일 내용
Gartner SRM에서의 세션을 앞두고, F5의 제품 마케팅 담당 수석 부사장이 F5가 세 가지 실질적인 단계를 통해 조직의 AI 보안을 어떻게 지원하는지 설명합니다.
파이프라인 속도 저하 없이 AI 데이터 파이프라인을 안전하게 보호하세요
AI 데이터 파이프라인 보안은 선택 사항이 아닙니다. 그 점은 분명합니다. 하지만 이를 제대로 보호하는 방법은 훨씬 불분명하며, 훨씬 더 어려운 과제입니다.
AI 스토리지에 새로운 로드 밸런싱 접근 방식이 필요한 이유
AI 워크로드에는 새로운 관점으로 설계된 스토리지가 필요합니다. AI 특유의 데이터 액세스 패턴은 레거시 인프라에 내재된 심각한 병목 현상과 비효율성을 여실히 드러냅니다.