업계는 AI 인프라의 새로운 단계에 접어들고 있습니다.
생성형 AI의 첫 번째 물결은 모델을 구축하고 학습하는 데 집중했습니다. 다음 단계는 AI를 대규모로 운영하는 것입니다. 기업, 하이퍼스케일러, 그리고 새로운 세대의 네오클라우드 제공업체들은 이른바 AI 팩토리를 구축하고 있습니다. 이러한 환경은 최대한 효율적이고 안정적이며 안전하게 토큰을 생성하도록 설계되었습니다.
이러한 환경에서는 지연 시간 1밀리초와 GPU 사용률 1%까지도 모두 중요합니다.
The Tolly Group의 테스트에서 NVIDIA BlueField DPU에서 실행되는 F5 BIG-IP Next for Kubernetes는 기존 로드 밸런싱 솔루션과 비교해 토큰 처리량은 최대 40% 높고, 첫 토큰 생성 시간은 61% 빠르며, 요청 지연 시간은 34% 낮은 성능을 제공했습니다.
GPU는 현대 데이터 센터에서 가장 비용이 많이 드는 구성 요소 중 하나입니다. 요청이 비효율적으로 라우팅되거나 GPU 활용률이 낮으면 조직은 사실상 컴퓨팅 용량과 비용을 낭비하게 됩니다.
하지만 많은 AI 배포 환경은 여전히 GPU 인프라의 실시간 상태를 파악하지 않은 채 요청을 분산하는 기존의 라운드 로빈 방식 부하 분산에 의존하고 있습니다. 이 방식은 기존 웹 애플리케이션에는 효과적이었지만, AI 추론에는 충분하지 않습니다.
GPU 인식 인프라의 중요성
AI 추론 환경은 기존 애플리케이션 아키텍처와 근본적으로 다릅니다.
추론 클러스터는 대규모 언어 모델과 기타 AI 워크로드를 실행하는 GPU 풀로 구성됩니다. 특정 시점에 각 GPU가 처리하는 워크로드는 대기열 깊이, 모델 실행 시간, 토큰 생성 길이, 메모리 사용률 등의 요인에 따라 크게 달라질 수 있습니다.
트래픽을 무분별하게 분산하면 이미 사용량이 많은 GPU로 요청이 라우팅되는 반면, 다른 가속기는 충분히 활용되지 않는 상황이 쉽게 발생할 수 있습니다. 그 결과 응답 지연 시간이 늘어나고 인프라 활용 효율이 저하됩니다.
이것이 바로 AI 인프라가 워크로드를 인식해야 하는 이유입니다.
F5는 인프라 계층이 진화하여 환경의 실시간 조건에 따라 AI 추론 요청을 지능적으로 분산할 수 있어야 한다고 생각합니다.
The Tolly Group의 독립적인 검증
GPU 인식 부하 분산의 영향을 더 잘 이해하기 위해, 당사는 독립 기술 검증 기관인 The Tolly Group에 기존 부하 분산 솔루션과 비교하여 당사의 접근 방식을 평가해 달라고 의뢰했습니다.
그 결과는 매우 인상적이었습니다. The Tolly Group의 테스트에서 NVIDIA BlueField DPU에서 실행되는 F5 BIG-IP Next for Kubernetes는 최대 다음과 같은 성능을 제공했습니다:
- 토큰 처리량 40% 향상
- 첫 토큰 생성 시간 61% 단축
- 요청 지연 시간 34% 단축
이러한 개선 효과는 널리 사용되는 오픈 소스 부하 분산 솔루션과 비교하여 측정되었습니다.
테스트에서 확인된 흥미로운 점은 모델이 작을수록 이러한 이점이 더욱 두드러졌으며, 효율적인 트래픽 분산이 시스템 성능에 훨씬 더 큰 영향을 미칠 수 있다는 것입니다.
DPU를 활용한 인프라 처리 오프로딩
이 아키텍처의 또 다른 중요한 측면은 인프라 처리를 오프로드하는 것입니다.
오늘날 많은 배포 환경에서는 트래픽 관리 기능이 AI 워크로드와 함께 서버 CPU에서 직접 실행됩니다. 이로 인해 귀중한 CPU 리소스가 애플리케이션 워크로드가 아닌 인프라 작업에 사용됩니다.
NVIDIA BlueField DPU에서 F5 BIG-IP Next for Kubernetes를 실행하면 트래픽 관리 기능을 서버 CPU에서 DPU로 오프로드할 수 있습니다.
The Tolly Group의 테스트에서 그 차이는 상당했습니다. Nvidia BlueField DPU에서 실행되는 BIG-IP Next for Kubernetes에는 약 2개의 CPU 코어가 필요했던 반면, 기존의 CPU 기반 부하 분산에는 약 12개의 코어가 필요했습니다.
이는 CPU 사용률이 약 80% 감소한다는 의미이며, 해당 CPU 리소스를 다른 워크로드에 사용할 수 있게 해줍니다.
AI 인프라의 미래
AI 팩토리의 규모가 확대됨에 따라 인프라 효율성은 AI 배포의 성공을 좌우하는 가장 중요한 요소 중 하나가 될 것입니다.
조직은 GPU 활용률을 극대화하고, 지연 시간을 최소화하며, 토큰 처리량을 개선하는 동시에 인프라의 보안과 격리를 보장해야 합니다. 이러한 목표를 달성하려면 AI 워크로드의 동적 특성을 이해하는 인프라가 필요하며, GPU를 인식하는 부하 분산과 DPU 가속 인프라는 그러한 미래를 향한 중요한 단계입니다.
F5는 지능형 인프라가 차세대 AI 팩토리를 구현하는 데 핵심적인 역할을 할 것이라고 믿습니다. The Tolly Group이 검증한 결과는 이러한 방향으로 나아가는 고무적인 진전을 보여줍니다. 보고서 전문은 여기에서 확인할 수 있습니다.
또한 F5 BIG-IP Next for Kubernetes 웹페이지도 꼭 방문해 보세요.
작성자 소개
관련 블로그 게시물
F5 NGINX Gateway Fabric로 AI 제공 표준화
F5 NGINX Gateway Fabric이 기업의 Kubernetes 트래픽 표준화, 애플리케이션 보안 강화, 대규모 AI 추론 준비를 어떻게 지원하는지 알아보세요.
F5의 CalypsoAI 인수 발표, TRiSM 프레임워크 구축을 향한 행보
F5의 CalypsoAI 전략적 인수를 통해 조직은 보안, 개인정보 보호 및 운영 통제력을 유지하면서도 안심하고 AI를 도입할 수 있습니다. 자세한 내용은 블로그에서 확인하세요.
사이버 복원력: LLM을 위한 OWASP Top 10 위험 완화
OWASP가 2025년 LLM 및 생성형 AI 앱을 위한 10대 위험 및 완화 방안을 발표하면서 업계에 절실히 필요했던 보안 기준이 마련되었습니다. 하지만 실행이 뒤따르지 않는 기준은 아무 의미가 없습니다. F5 AI 런타임 보안 솔루션은 OWASP 10대 위험의 80%에 대응하며, 현실에서 가장 시급한 위험을 우선적으로 해결합니다. 이 솔루션은 실시간 런타임 보호 기능을 결합하여 […]
석유 및 가스 산업을 위한 AI 보안
AI는 지질 모델링과 시추 최적화부터 파이프라인 모니터링, 예측 유지보수, 원자재 거래에 이르기까지 석유 및 가스 산업을 재편하고 있습니다. 하지만 이러한 미션 크리티컬 활용 사례에는 높은 위험도 따릅니다. 당사의 AI 런타임 보안 솔루션은 검증을 위한 레드팀, 보호를 위한 Guardrails, 그리고 내장된 관측 가능성을 통해 석유 및 가스 산업을 안전하게 보호합니다. […]
인사 부서를 위한 AI 보안
AI는 HR을 혁신하고 있습니다. 기업들은 비용을 절감하고 직원 경험을 개선하기 위해 AI 기반 채용 코파일럿, 온보딩 도우미, 직원 지원 챗봇, 인력 분석 도구를 도입하고 있습니다. 하지만 HR 애플리케이션에는 규정 준수 실패, 편향 논란, 평판 훼손으로 이어질 수 있는 고유한 위험도 존재합니다. 당사의 AI 런타임 보안 솔루션은 다음과 같은 방식으로 HR 분야를 보호합니다. […]
기업 법무 관리를 위한 AI 보안
AI는 계약 검토 및 증거개시 자동화부터 규제 준수 모니터링과 민감한 지식재산 관리에 이르기까지 기업 법무팀의 업무 방식을 혁신하고 있습니다. 그러나 법률 환경은 AI 도입 시 가장 큰 위험이 따르는 분야 중 하나입니다. 당사의 AI 런타임 보안 솔루션은 검증을 위한 레드팀, Guardrails 등 세 가지 접근 방식으로 기업 법무 관리를 보호합니다 […]