F5 BIG-IP Next for Kubernetes 2.3.0: 프로덕션 AI를 위한 향상된 AI 최적화

F5 ADSP | 2026년 6월 30일

다음 AI 인프라의 과제가 단순히 GPU를 더 많이 확보하는 것이 아니라, 이미 배포된 모든 GPU에서 더 큰 가치를 끌어내는 것이라면 어떨까요?

조직들이 AI를 실험 단계에서 실제 운영 환경으로 전환함에 따라 이 질문은 더욱 중요해지고 있습니다.

초기 AI 프로젝트는 컴퓨팅 리소스를 확보하는 것에서 시작하는 경우가 많습니다. 팀은 모델을 테스트하고, 애플리케이션을 구축하며, 가치를 입증하기 위해 GPU 용량이 필요합니다. 하지만 AI 서비스가 더 많은 사용자, 애플리케이션, 테넌트 및 모델로 확장되면서 인프라 과제도 달라집니다.

프로덕션 AI는 단순히 컴퓨팅만의 문제가 아닙니다. 효율성, 거버넌스, 라우팅, 비용의 문제이며, 갈수록 비즈니스 차원의 문제로 확대되고 있습니다.

이것이 최근 F5 BIG-IP Next for Kubernetes 2.3.0 release의 핵심입니다.

이번 릴리스에서 F5는 프로덕션 규모의 AI 추론을 위한 향상된 AI 최적화 기능을 도입했습니다. BIG-IP Next for Kubernetes 2.3.0은 핵심 AI 트래픽 최적화 기능을 네이티브 프로덕션 지원 인프라에 통합하여, 조직이 불필요하게 중복되는 AI 연산을 줄이고 GPU 활용률을 높이며 모델과 서비스 전반에서 요청을 지능적으로 라우팅하고 사용자 및 테넌트별 토큰 사용량을 관리할 수 있도록 지원합니다.

“AI의 미래는 단순한 컴퓨팅 성능만으로 결정되는 것이 아니라, 모든 요청을 더 스마트하게 처리하고, 모든 토큰을 더 투명하게 관리하며, 모든 GPU의 성능을 최대한 활용할 수 있는 조직이 주도하게 될 것입니다. F5 BIG-IP Next for Kubernetes 2.3.0은 고객이 그다음 단계로 나아갈 수 있도록 지원합니다.”

이번 릴리스에서는 x86 시스템의 ConnectX-8 SuperNIC 지원과 SuperNIC 모드로 실행되는 ConnectX-7 및 BlueField-3 지원을 포함하여 차세대 NVIDIA 가속 네트워킹 플랫폼에 대한 지원도 확대되었습니다.

AI 트래픽이 핵심 제어 지점으로 부상하고 있습니다

AI가 프로덕션 환경에 도입되면서 트래픽 관리는 단순한 연결성 이상의 의미를 갖게 됩니다.

단일 요청에서 수천 개의 토큰이 생성될 수 있습니다. 사용자나 애플리케이션 전반에서 유사한 프롬프트가 반복적으로 나타날 수도 있습니다. 일부 요청에는 사용 가능한 최고 성능의 모델이 필요할 수 있지만, 다른 요청에는 비용이 더 저렴한 모델이나 특화된 AI 서비스가 더 적합할 수 있습니다.

모든 AI 요청에는 의사 결정이 필요합니다. 어디로 보내야 할까요? 어떤 모델이 처리해야 할까요? 비용은 얼마나 들까요? 인프라 용량은 얼마나 사용할까요? 그리고 누가 이를 결정할까요?

이러한 결정은 일관되고 지능적으로, 그리고 트래픽이 발생하는 지점과 가까운 곳에서 이루어져야 합니다. BIG-IP Next for Kubernetes 2.3.0은 이러한 스마트한 제어 지점을 구축하여 AI 요청이 고비용 컴퓨팅 리소스를 사용하기 전에 처리 방식을 최적화할 수 있도록 지원합니다. 프로덕션 AI 환경에서 경쟁력을 좌우하는 것은 모델만이 아니라 모델을 둘러싼 시스템이기 때문입니다.

더욱 동적인 AI 워크플로에 대비하기

AI 애플리케이션이 단일 프롬프트-응답 상호작용에서 더욱 역동적인 에이전트형 워크플로로 발전함에 따라, 이는 한층 더 중요해집니다.

이러한 환경에서는 다단계 프로세스의 일부로 AI 트래픽이 에이전트, 도구, 추론 서비스 및 애플리케이션 구성 요소 간에 이동할 수 있습니다. 이에 따라 트래픽 제어, ID 컨텍스트, 정책 적용, 세션 연속성 및 복원력에 대한 새로운 요구 사항이 생깁니다.

조직이 얻을 수 있는 시사점은 분명합니다. 프로덕션 AI 인프라는 단순히 애플리케이션과 모델을 연결하는 데 그쳐서는 안 됩니다. 점점 더 분산되는 워크플로 전반에서 AI 상호작용이 라우팅되고, 관리되고, 인증되고, 전달되는 방식을 일관되게 제어할 수 있는 지점을 제공해야 합니다.

BIG-IP Next for Kubernetes 2.3.0은 향상된 AI 최적화 기능을 네이티브 프로덕션 지원 인프라에 도입하여 이러한 기반을 구축하는 데 도움을 줍니다. 이번 릴리스는 AI 요청의 캐싱, 라우팅, 부하 분산, 거버넌스 및 가속 방식을 개선함으로써 AI 트래픽이 더욱 분산되고 자율화되며 비즈니스에 더욱 중요해지는 미래에 조직이 대비할 수 있도록 지원합니다.

중복 AI 연산 감소

AI의 경제성을 개선하는 가장 직접적인 방법 중 하나는 비용이 많이 드는 동일한 작업을 반복하지 않는 것입니다.

AI 도입이 확대됨에 따라 사용자와 애플리케이션은 유사하거나 반복적인 프롬프트를 생성하는 경우가 많습니다. 최적화하지 않으면 이미 유사한 응답이 생성된 경우에도 이러한 요청 하나하나가 추가적인 추론 용량을 소모할 수 있습니다. 이는 낭비입니다. 그리고 AI 규모에서는 이러한 낭비로 인한 비용이 빠르게 증가합니다.

BIG-IP Next for Kubernetes 2.3.0에서는 시맨틱 AI 모델 캐싱 기능이 정식으로 제공됩니다. 이 기능은 유사하거나 반복되는 프롬프트에 대한 불필요한 GPU 연산을 줄여 토큰 경제성을 개선하는 동시에 지연 시간을 단축하고 GPU 효율성을 높이는 데 도움이 됩니다.

프로덕션 규모에서는 중복되는 AI 연산이 상당한 불필요한 비용을 초래할 수 있습니다. 이번 릴리스는 트래픽 계층에서 AI 추론의 효율성을 높여 이러한 문제를 해결하는 데 도움이 됩니다.

GPU 활용률 및 모델 선택 개선

기존의 부하 분산 방식은 현대 AI 추론의 복잡성을 고려해 설계되지 않았습니다.

AI 워크로드에는 GPU 사용률, 대기열 깊이, 모델 가용성, 백엔드 성능, 인프라 용량 등 새로운 변수가 추가됩니다. 단순히 다음으로 사용 가능한 엔드포인트에 트래픽을 보내는 것만으로는 충분하지 않습니다. AI 요청은 실시간 상황에 따라 사용 가능한 최적의 리소스로 전달되어야 합니다.

BIG-IP Next for Kubernetes 2.3.0에서는 지능형 AI 부하 분산 기능이 정식으로 제공됩니다. 이 기능은 실시간 텔레메트리와 인프라 인식 정보를 활용하여 AI 추론 트래픽을 동적으로 분산함으로써 GPU 활용도를 최적화하고, 대기열 병목 현상을 줄이며, 응답 시간을 개선하는 데 도움을 줍니다.

이 릴리스에서는 대규모 언어 모델(LLM) 라우팅 통합 기능도 정식으로 제공하여 비용, 성능, 모델 전문성 또는 운영 요구 사항 등의 정책에 따라 다양한 LLM과 AI 서비스 간에 지능적으로 라우팅할 수 있습니다.

대부분의 조직은 단일 모델만으로 프로덕션 AI를 운영하지 않을 것입니다. 적합한 모델은 사용 사례, 성능 요구 사항, 비즈니스 정책 및 비용 구조에 따라 달라집니다.

가장 강력한 모델이 항상 가장 적합한 모델인 것은 아닙니다. 때로는 해당 작업에 충분한 성능과 속도를 제공하면서 비용 효율성까지 갖춘 모델을 선택하는 것이 가장 현명한 AI 의사결정입니다. 이를 위해서는 이러한 의사결정에 정책을 적용할 수 있는 인프라가 필요합니다.

토큰 사용량 관리

토큰은 AI 인프라 경제성을 좌우하는 가장 중요한 단위 중 하나로 자리 잡고 있습니다.

토큰은 비용, 용량 계획, 테넌트 사용량 및 성능에 영향을 미칩니다. 또한 AI에 대한 열기가 재무적 현실과 맞닥뜨리기 시작하는 지점이기도 합니다.

BIG-IP Next for Kubernetes 2.3.0에서는 토큰 거버넌스 기능이 정식으로 제공되며, 토큰 모니터링, 사용량 집계 및 속도 제한을 지원합니다. 이를 통해 조직은 AI 인프라 비용을 더욱 효율적으로 관리하고 사용자, 애플리케이션 및 테넌트 전반에 사용 정책을 적용할 수 있습니다.

비즈니스 리더는 이를 통해 AI 사용 현황을 더욱 투명하게 파악할 수 있습니다. 플랫폼 팀은 공유 AI 인프라를 실질적으로 관리할 수 있습니다.

프로덕션 AI 환경에서 토큰 거버넌스는 조직이 현대 인프라에서 가장 빠르게 증가하는 비용 요인 중 하나를 체계적으로 관리하는 방식입니다.

인프라 유연성 확대

AI 인프라는 빠르게 발전하고 있습니다. 일부 조직은 DPU 기반 아키텍처로 전환하고 있으며, 다른 조직은 차세대 네트워크 가속 기술을 활용해 x86 시스템을 최적화하고 있습니다. 또한 많은 조직이 성능, 비용, 운영 준비 상태 간의 균형을 고려해 단계적으로 현대화를 추진하고 있습니다.

BIG-IP Next for Kubernetes 2.3.0은 x86 시스템에서 ConnectX-8 SuperNIC을 지원하여 하드웨어 지원 범위를 확대합니다. 또한 이번 릴리스는 SuperNIC 모드로 실행되는 ConnectX-7 및 BlueField-3도 지원합니다.

이를 통해 조직은 AI 트래픽 처리 성능과 CPU 효율성을 최적화할 때 더 큰 유연성을 확보할 수 있습니다. 아직 DPU를 도입할 준비가 되지 않은 팀의 경우, SuperNIC 지원은 차세대 NVIDIA 네트워킹 플랫폼과의 호환성을 유지하면서 인프라 효율성을 개선할 수 있는 또 다른 방안을 제공합니다.

AI 인프라 현대화는 한 번에 끝나는 작업이 아닙니다. 조직에는 현재 상황을 지원하는 동시에 향후 더욱 발전된 가속 아키텍처로 전환할 수 있는 경로를 유지해 주는 선택지가 필요합니다.

중요한 이유

BIG-IP Next for Kubernetes 2.3.0은 조직이 AI 인프라를 운영해야 하는 방식의 광범위한 변화를 반영합니다.

AI의 첫 번째 단계는 컴퓨팅 리소스에 대한 접근이 핵심이었습니다. 다음 단계는 제어가 핵심입니다.

AI 서비스가 프로덕션 환경으로 전환됨에 따라, 팀은 성능, 비용 효율성, 정책, 신뢰를 통합적으로 설계해야 합니다. 비용이 많이 드는 인프라 리소스를 사용하기 전에 요청을 최적화하고, 테넌트와 애플리케이션 전반의 사용량을 관리하며, 모델과 서비스 간 트래픽을 지능적으로 라우팅하고, 현재와 미래의 가속화된 AI 성능을 지원해야 합니다.

이것이 바로 BIG-IP Next for Kubernetes 2.3.0에서 향상된 AI 최적화가 제공하는 가치입니다.

이번 최신 릴리스는 조직이 AI 인프라의 효율성과 통제력을 높이고, 프로덕션 규모에 더욱 적합하게 준비할 수 있도록 지원합니다.

AI의 미래는 단순한 컴퓨팅 성능만으로 결정되는 것이 아니라, 모든 요청을 더 스마트하게 처리하고, 모든 토큰을 더 투명하게 관리하며, 모든 GPU의 성능을 최대한 활용할 수 있는 조직이 주도하게 될 것입니다. F5 BIG-IP Next for Kubernetes 2.3.0은 고객이 그다음 단계로 나아갈 수 있도록 지원합니다.

자세한 내용은 F5 BIG-IP Next for Kubernetes 웹페이지를 참조하세요.