F5, NVIDIA BlueField-3 DPU 기반 BIG-IP Next for Kubernetes에 강력한 신규 AI 기능을 더해 혁신 가속

Ahmed Guetari제품 관리 담당 수석 부사장 – 서비스 제공업체 | F5

비즈니스 리더들은 AI를 최우선 과제로 삼아야 한다는 사실을 잘 알고 있습니다. 하지만 말처럼 쉽지는 않습니다. AI는 복잡하고 비용이 많이 들며 위험을 수반할 수 있습니다. 게다가 기술과 생태계 모두 빠르게 진화하고 있습니다.

첫째, 모든 상황에 동일하게 적용하는 획일적인 접근 방식에서 벗어나려는 뚜렷한 변화가 나타나고 있습니다. 예측형 AI/ML, 생성형 AI, 그리고 이제는 에이전틱 AI까지 특정 산업과 애플리케이션에 맞게 조정되고 있습니다. 특정 목적에 특화된 AI 모델이 확산되면서 AI 환경은 점점 더 다양해지고 있습니다.

이제 AI 애플리케이션에는 성능, 비용 및 에너지 효율성에 최적화될 뿐만 아니라 빠르게 진화하는 AI 모델, 애플리케이션 및 에이전트의 요구 사항에도 발맞출 수 있는 맞춤형 인프라가 필요하다는 점이 분명해졌습니다. 불과 몇 달 전만 해도 존재하지 않았던 강력한 혁신인 모델 컨텍스트 프로토콜(MCP)이 대표적인 예입니다.

조직들이 생성형 AI와 점차 확산되는 AI 에이전트를 활용하기 위해 경쟁하는 가운데, 일부는 자체 전용 데이터 센터를 구축하고 있습니다. 또 다른 조직들은 여러 대규모 언어 모델(LLM)을 지원하도록 설계된 클라우드 규모의 인프라를 구축하는 전문 공급업체를 선택하고 있습니다. 흔히 AI 팩토리 또는 네오클라우드라고 불리는 이러한 플랫폼에는 가속 컴퓨팅, 네트워킹 및 스토리지에 대한 대규모 투자가 이루어지며, 모두 AI 워크로드가 요구하는 높은 성능과 확장성을 충족하도록 특별히 설계되었습니다.

주권형의 확장 가능한 AI 및 LLM 추론 인프라를 구축하려면 다음 네 가지 핵심 과제를 해결해야 합니다:

1. 지연 시간 및 성능 – 빠르고 즉각적으로 반응하는 AI는 특히 대화형 사용 사례에서 필수적입니다. AI가 생각을 마칠 때까지 로딩 표시만 바라보고 싶은 사람은 아무도 없습니다.
2. 데이터 보안 및 개인정보 보호 – LLM은 민감한 데이터를 처리하는 경우가 많습니다. 안전하고 비공개로 추론을 수행하는 것은 매우 중요하며, 클라우드와 온프레미스 환경마다 보안 규칙과 규정 준수 요건이 달라 더욱 복잡합니다.
3. 규제 준수 – AI가 다양한 산업으로 확산됨에 따라 유럽연합의 일반 데이터 보호 규정(GDPR)과 같은 규제는 데이터 사용, 모델 선택, 투명성 및 공정성에 관한 엄격한 규칙을 요구합니다. 이러한 규제를 정확히 파악하고 준수하는 것이 필수적입니다.
4. 모델 관리 및 통합 – AI 모델은 버전 관리, 모니터링, 업데이트 등 지속적인 관리가 필요하며 기존 시스템과 원활하게 통합되어야 합니다. 간단히 연결만 하면 바로 사용할 수 있는 것은 아니지만, AI 모델이 직면한 보안 문제에도 불구하고 MCP와 같은 프로토콜 덕분에 통합이 한층 수월해지고 있습니다.

작업에 가장 적합한 칩 배포

F5는 NVIDIA와 협력하여 AI 팩토리와 클라우드 규모의 AI 인프라가 현대 AI의 요구 사항을 충족할 수 있도록 지원하고 있습니다. 오늘 NVIDIA GTC Paris 2025에서 NVIDIA BlueField-3 DPU에 배포된 F5 BIG-IP Next for Kubernetes의 새로운 기능을 통해 한 차원 높은 혁신을 선보입니다. 이는 GTC San Jose 2025에서 소개한 향상된 성능, 멀티테넌시 및 보안을 기반으로 합니다. F5 Application Delivery and Security Platform의 일부인 F5 BIG-IP Next for Kubernetes는 데이터 이동 및 처리용으로 특별히 설계된 강력한 프로그래밍 가능 프로세서인 NVIDIA BlueField-3에서 네이티브로 실행됩니다.

DPU는 네트워크 처리, 스토리지 관리, 보안 작업(예: 암호화 및 트래픽 모니터링)과 같은 태스크를 오프로드함으로써 귀중한 CPU 사이클과 GPU 리소스를 확보하여 AI 학습 및 추론에 집중할 수 있도록 합니다. 이를 통해 병목 현상을 줄이고 성능을 높이며 지연 시간을 개선함으로써 AI 팩토리가 더 빠르고 효율적으로 운영되고 더 많은 토큰을 생성할 수 있도록 지원합니다.

네트워크 인터페이스 카드에 탑재된 DPU는 서버 간은 물론 외부 고객/사용자/에이전트와 AI 팩토리 간의 데이터 흐름을 관리하며, 대규모 네트워킹과 보안을 오케스트레이션합니다. NVIDIA BlueField-3 DPU에 배포되는 F5 BIG-IP Next for Kubernetes는 4월에 정식 출시되었습니다.

원하는 결과를 얻을 수 있도록 AI 프롬프트를 적절한 위치로 라우팅

최근 몇 달 사이 LLM은 빠르게 발전하여 이제 다양한 규모와 비용, 도메인별 전문성을 갖춘 모델을 폭넓게 제공하고 있습니다. 각 프롬프트에 적합한 모델을 선택하면 더 나은 응답과 규제 준수를 보장할 수 있을 뿐만 아니라 리소스 사용량, 비용, 지연 시간도 최적화할 수 있습니다.

오늘 NVIDIA NIM 마이크로서비스가 통합됨에 따라, 조직은 이제 AI 프롬프트 요청을 가장 적합한 LLM 또는 각 작업에 정확히 맞는 모델로 지능적으로 라우팅할 수 있습니다. 예를 들어, 간단한 요청은 가볍고 에너지 효율적인 모델이 처리하고, 더 복잡하거나 규모가 크고 전문적인 프롬프트는 더 큰 모델이나 도메인별 모델로 전달할 수 있습니다.

이러한 접근 방식을 통해 AI 팩토리는 컴퓨팅 리소스를 더욱 효율적으로 활용하여 추론 비용을 최대 60%까지 절감할 수 있습니다. 더 빠르고 우수한 응답을 더 낮은 비용으로 제공할 수 있어 모델 제공업체와 모델 사용자 모두에게 이득입니다.

더 적은 자원으로 더 많은 성과를: 캐싱으로 중복 연산을 제거하고 토큰 출력을 향상

NVIDIA는 GPU뿐만 아니라 AI 추론의 주요 과제를 해결하기 위해 소프트웨어 차원에서도 지속적으로 혁신하고 있습니다. NVIDIA Dynamo 와 KV 캐시는 NVIDIA NIM에 포함된 대표적인 예입니다. NVIDIA Dynamo는 추론을 위한 분산형 서빙을 도입하여, GPU 연산 집약적인 컨텍스트 이해(프리필)와 메모리 대역폭 집약적인 응답 생성(디코드)을 서로 다른 GPU 클러스터로 분리합니다. 이를 통해 스케줄링, 라우팅 및 메모리 관리를 효율적으로 처리하여 GPU 활용도를 높이고 데이터 센터 전반의 확장을 간소화합니다. KV 캐시는 모델 컨텍스트의 저장 및 액세스 방식을 최적화합니다. 자주 사용하는 데이터는 GPU 메모리에 유지하고 나머지는 CPU나 스토리지로 오프로드함으로써 메모리 병목 현상을 완화하여, 추가 하드웨어 없이도 더 큰 모델이나 더 많은 사용자를 지원할 수 있습니다.

BIG-IP Next for Kubernetes의 강력한 새로운 기능 중 하나는 KV 캐싱 지원으로, AI 추론 속도를 높이는 동시에 시간과 에너지 사용량을 줄여 줍니다. GPU 메모리 사용량과 기타 기준 등 몇 가지 명시적 메트릭을 기반으로 하는 NVIDIA Dynamo의 지능형 라우팅과 결합하면 첫 토큰 생성 시간(TTFT)을 크게 단축하고 토큰 생성량을 늘려 궁극적으로 더 많은 프롬프트를 처리할 수 있습니다. DeepSeek는 처리 용량이 10배에서 30배까지 향상되는 결과를 보여주었습니다.

고객은 F5의 프로그래밍 기능을 활용하여 매우 높은 성능을 유지하면서 F5 BIG-IP의 기능을 확장하고 조정함으로써 각자의 구체적이고 고유한 요구 사항을 충족할 수 있습니다.

안전하고 주권적인 에이전트형 AI를 위한 MCP 운영 및 보안

대부분의 조직, 특히 복잡한 레거시 시스템을 보유한 금융 서비스, 통신, 의료 분야의 대기업에 에이전틱 AI는 매우 매력적입니다. LLM을 기반으로 구축된 이러한 AI 에이전트는 복잡한 데이터베이스, 서버, 도구 및 애플리케이션을 탐색하여 정확한 정보를 검색함으로써 새로운 차원의 효율성과 인사이트를 제공합니다.

2024년 11월 Anthropic이 선보인 MCP는 AI 시스템이 실제 데이터, 도구 및 서비스와 상호 작용하는 방식을 혁신하고 있습니다. 표준화된 커넥터 역할을 하는 MCP 서버를 통해 AI 모델은 API, 데이터베이스 및 파일 시스템에 실시간으로 액세스할 수 있으며, 정적인 학습 데이터의 한계를 넘어 작업을 효율적으로 수행할 수 있습니다. 도입이 확대됨에 따라 이러한 서버에는 부하 분산 기능을 갖춘 고급 리버스 프록시, 강력한 보안, 인증, 데이터 및 도구에 대한 권한 부여, 원활한 Kubernetes 통합이 필요합니다. 이에 따라 MCP는 소버린 AI 인프라의 핵심 축으로 자리 잡아 에이전틱 AI를 안전하게 구현하고 활성화합니다.

MCP 서버 앞단에 리버스 프록시로 배포되는 BIG-IP Next for Kubernetes는 NVIDIA BlueField-3 DPU에서 실행되며, MCP 서버를 확장하고 보호할 수 있습니다. 또한 요청을 검증하고 데이터를 분류하며 무결성과 개인정보 보호 여부를 확인함으로써 조직과 LLM을 보안 위협 및 데이터 유출로부터 보호합니다. 한편, F5의 프로그래밍 기능을 활용하면 AI 애플리케이션이 MCP 및 기타 프로토콜의 요구 사항을 준수하도록 손쉽게 구현할 수 있습니다.

토큰이 새로운 화폐라면, 현명하게 계산하고 관리하며 사용합시다

최근 실적 발표에서 일부 주요 기업들은 분기별로 생성된 토큰 수와 그 증가율, 그리고 토큰과 연계된 매출을 공개하기 시작했습니다. 이는 고객들 사이에서 커지고 있는 요구를 반영합니다. 즉, 퍼블릭 클라우드에서 때때로 발생하는 것처럼 예상치 못한 비용이 발생하지 않도록 예산을 관리하듯 토큰 사용량을 추적하고 관리하며 통제할 수 있어야 한다는 것입니다.

이러한 이유로 BIG-IP Next for Kubernetes에는 이제 조직 전반의 토큰 사용량을 측정하고 관리하는 새로운 기능이 포함됩니다. 고객의 요청에 귀 기울이고 세심하게 반영합니다.

안전하고 빠르며 주권과 유연성을 갖춘 AI 팩토리 구축

산업계가 AI 팩토리를 개발하고 각국이 소버린 AI를 구축함에 따라 AI 에이전트가 부상하고 있으며, 인프라와 생태계, 애플리케이션은 유연성과 적응성을 갖춰야 합니다. AI를 효율적으로 배포하는 조직은 더 빠르게 움직이고, 고객에게 더 나은 서비스를 제공하며, 비용을 절감할 수 있습니다. 그러나 이러한 잠재력을 실현하려면 혁신의 속도를 늦추지 않으면서도 AI의 보안과 확장성, 비용 효율성을 유지해야 합니다.

바로 이 지점에서 F5가 역할을 합니다. 지난 3월, F5는 성능, 멀티테넌시, 보안을 제공했습니다. 이제 BIG-IP Next for Kubernetes를 통해 AI의 속도에 발맞춰 나아갈 수 있는 혁신을 지원합니다.

F5의 약속: 달러당, 와트당 더 많은 토큰을 제공합니다. 직접 사용해 보고 그 차이를 확인해 보세요.

GTC Paris 2025에 참석하시나요?

F5는 NVIDIA GTC Paris 2025의 골드 스폰서로 참여하게 된 것을 자랑스럽게 생각합니다. G27 부스를 방문하여 F5 Application Delivery and Security Platform이 안전한 고성능 AI 인프라를 어떻게 지원하는지 확인하고, NVIDIA와 함께하는 공동 세션인 설계 단계부터 보안을 고려한 인프라: 신뢰할 수 있는 AI 팩토리 구축에도 참석해 보세요. 세션은 6월 12일 목요일 오전 10시(CEST)에 진행됩니다.

NVIDIA BlueField-3 DPU에 배포된 F5 BIG-IP Next for Kubernetes에 대해 자세히 알아보려면 제가 이전에 작성한 블로그 게시물을 참조하세요. 또한 오늘 발표에 관한 보도 자료도 꼭 읽어보세요.

AI를 향한 F5의 노력은 여기서 멈추지 않습니다. F5가 어디서나 AI 앱을 안전하게 보호하고 제공하는 방법을 알아보세요.

작성자 소개

Ahmed Guetari제품 관리 담당 수석 부사장 – 서비스 제공업체 | F5

Ahmed Guetari의 다른 블로그 게시물