AI는 매우 짧은 시간 안에 흥미로운 실험 단계에서 핵심 비즈니스 역량으로 자리 잡았습니다. 이러한 변화에 발맞춰 클라우드 제공업체들은 현대적인 AI 팩토리의 중추를 이루는 GPU 서비스형(GPUaaS) 및 대규모 언어 모델 서비스형(LLMaaS) 제품을 구축하고 있습니다. 이러한 환경은 데이터, 컴퓨팅 자원, 모델을 고객에게 높은 가치를 제공하는 성과로 전환합니다.
이러한 서비스는 AI 도입을 획기적으로 간소화합니다. 하지만 동시에 공급자에게 새로운 재무적·운영적 부담을 안겨 줍니다. AI 인프라를 구축하는 것과 예측 가능한 경제성을 확보하면서 대규모로 수익성 있게 운영하는 것은 전혀 다른 문제입니다. GPU 비용, 토큰 기반 수익화의 어려움, 지연 시간 문제, 멀티테넌트 보안이 모두 맞물리면서 복잡한 비즈니스 방정식이 만들어집니다.
“지속 가능한 수익 구조를 달성하는 클라우드 AI 제공업체는 지금부터 확장성을 고려해 아키텍처를 설계하는 업체가 될 것입니다.”
바로 이 지점에서 F5 BIG-IP Next for Kubernetes, 특히 NVIDIA BlueField-3 DPU에 배포할 경우가 AI 클라우드의 운영 방식을 새롭게 바꾸기 시작했습니다. 이 플랫폼은 공급자가 체계적으로 매출을 늘리고, 토큰당 비용을 절감하며, 복잡한 AI 환경을 더욱 효율적으로 운영할 수 있도록 지원합니다.
변화하는 AI 팩토리의 경제성
GPUaaS와 LLMaaS는 막대한 진입 장벽을 없애 주기 때문에 빠르게 성장했습니다.
GPUaaS를 이용하면 고객은 GPU 클러스터나 특수 인프라에 투자하지 않고도 모델을 학습하고 미세 조정할 수 있습니다. 의료 서비스 제공업체, 산업체 및 기업은 직접 인프라를 운영하지 않고도 진단 영상이나 예측 자동화와 같은 고부가가치 AI 프로젝트를 추진할 수 있습니다.
LLMaaS는 그 반대입니다. 모델을 직접 학습시킬 필요가 전혀 없습니다. 고객은 API를 통해 Gemini나 GPT와 같은 사전 학습된 모델을 애플리케이션에 통합하고 챗봇, 코파일럿, 실시간 분석과 같은 사용자 경험을 구축하는 데 집중할 수 있습니다.
이러한 모델은 고객의 부담을 줄여 주지만, 복잡성은 제공업체에 집중시킵니다. 이에 따라 수익성은 GPU 활용률, 지연 시간(특히 첫 토큰 생성까지 걸리는 시간), 토큰 사용량 측정의 정확성, 멀티테넌트 보안 및 운영 오버헤드에 매우 민감해집니다.
바로 이 지점에서 아키텍처가 수익성을 직접 좌우합니다.
더 많은 토큰을 통한 매출 증대
GPUaaS와 LLMaaS의 매출은 사용량에 비례해 증가합니다. 처리하는 토큰과 지원하는 워크로드가 많을수록 매출도 높아집니다. 이를 실현하려면 플랫폼이 빠르고 예측 가능한 사용자 경험을 제공해야 합니다.
BIG-IP Next for Kubernetes는 GPU가 AI 연산에 집중하도록 하여 수익 잠재력을 높입니다 네트워킹, 라우팅 또는 검사 작업 대신 말입니다. 이러한 기능을 NVIDIA BlueField-3 DPU로 오프로드하면 컴퓨팅 사이클을 확보하고 GPU의 오버헤드를 줄여 더 많은 워크로드를 처리할 수 있습니다.
테스트 결과, 이 아키텍처는 동일한 GPU 인프라에서 30% 이상 더 많은 토큰을 생성하고 첫 토큰 생성 시간(TTFT)을 크게 단축할 수 있는 것으로 나타났습니다.
이러한 개선은 고객 경험과 서비스 이용량에 직접적인 영향을 미칩니다. LLM의 응답이 빠르고 상호작용이 원활하다고 느껴지면 사용자는 자연스럽게 서비스를 더 많이 활용하게 됩니다. 처리량이 증가하면 동일한 GPU로 더 많은 유료 사용량을 처리할 수 있습니다. 이처럼 AI 서비스는 하드웨어를 추가하지 않고도 매출을 늘릴 수 있습니다.
GPU 활용률 개선을 통한 비용 절감
GPU는 모든 AI 클라우드의 재무적 핵심입니다. 비효율, 유휴 시간 또는 CPU 병목 현상은 모두 토큰당 비용 상승과 수익성 저하로 직결됩니다.
BIG-IP Next for Kubernetes는 상당한 규모의 네트워킹, 보안 및 트래픽 처리를 NVIDIA BlueField-3 DPU로 이전하여 비용 절감에 기여합니다. 이를 통해 CPU 및 GPU 사이클을 소모할 수 있는 오버헤드를 제거합니다. 또한 트래픽 패턴과 워크로드 라우팅을 개선하여 공급자가 최적의 GPU 활용률에 더 가깝게 운영할 수 있도록 지원합니다.
그 결과, 서비스 제공업체는 토큰당 비용을 크게 절감하고 AI 클러스터 전반의 효율성을 대폭 향상할 수 있습니다.
GPU 활용률이 향상되면 이러한 효과는 더욱 커집니다. GPU에 작업이 더 안정적으로 공급될수록 고객당 비용은 낮아지고 GPU 시간당 창출되는 전체 매출은 높아집니다. 아키텍처는 경제성에 직접적인 영향을 미칩니다.
운영 효율성 향상
AI 클라우드는 여러 클러스터와 리전, GPU, 모델 유형에 걸쳐 운영되어야 합니다. 복잡성이 빠르게 증가하므로 적절한 제어 지점이 없으면 팀이 감당하기 어려울 수 있습니다.
BIG-IP Next for Kubernetes는 Kubernetes 환경 전반에서 안전한 멀티테넌시, 강력한 세분화, API 보호 및 심층적인 관측 가능성을 제공합니다. 이러한 기능을 통해 공급자는 워크로드의 작동 방식, 테넌트의 격리 방식 및 정책의 적용 방식을 명확하게 제어할 수 있습니다.
특히 LLMaaS의 경우, BIG-IP Next for Kubernetes는 토큰 인식 라우팅, 캐시 효율성 향상, 다양한 GPU와 모델 전반에서 일관된 트래픽 처리를 지원합니다. 이를 통해 추론 워크플로가 더 빠르고 효율적이며 예측 가능해집니다.
운영 측면에서 이는 서비스 제공업체가 테넌트를 더 빠르게 온보딩하고, 문제를 더 신속하게 해결하며, 운영 부담을 늘리지 않고도 인프라를 확장할 수 있음을 의미합니다. 이 모든 요소는 경제성을 높이고 더욱 지속 가능한 서비스 모델을 구현하는 데 기여합니다.
AI 팩토리를 지속 가능한 비즈니스로 전환
AI 수요는 대부분의 공급업체가 인프라를 구축할 수 있는 속도보다 빠르게 증가하고 있습니다. 장기적인 승자는 단순히 가장 큰 클러스터를 보유한 플랫폼이 아닐 것입니다. 성능을 통해 매출을 늘리고, 효율성을 높여 비용을 절감하며, 명확한 가시성과 통제력을 바탕으로 운영하는 기업이 승자가 될 것입니다.
BIG-IP Next for Kubernetes는 특히 NVIDIA BlueField-3 DPU와 함께 사용할 때 이러한 비즈니스 현실에 맞게 특별히 설계되었습니다. 테스트를 통해 검증된 방식으로 처리량을 높이고, 지연 시간을 줄이며, 멀티테넌시를 강화하고, GPU 효율성을 최적화하며, 토큰당 비용을 절감합니다.
AI 워크로드의 증가세는 둔화되지 않고 있습니다. 지속 가능한 경제성을 확보하는 공급자는 지금부터 확장성을 고려해 아키텍처를 설계할 수 있는 기업이 될 것입니다.
이 F5-NVIDIA 공동 아키텍처는 이러한 성과를 달성하기 위한 명확한 경로를 제시합니다.
F5와 NVIDIA가 기술적 기반을 어떻게 마련하고 있는지 알아보세요 차세대 지능형 목표 지향 AI 시스템을 위한 기술적 기반입니다.
작성자 소개
관련 블로그 게시물
성평등을 향한 여정: 사이버 보안 분야에서 성공적인 커리어를 개척하는 방법에 관한 Jenn Gile과의 Q&A
F5의 ‘성평등을 향한 여정’ 시리즈 네 번째 Q&A에서는 Rachael Shah와 NGINX 제품 마케팅 책임자 Jenn Gile이 사이버 보안 직종에 대한 오해를 바로잡고, 사이버 보안 분야의 성별 격차를 해소하기 위한 조언과 그 이점에 대해 이야기합니다.
TLS 검사에서 피터 파커 원칙 다루기
“큰 힘에는 큰 책임이 따른다.” 볼테르와 처칠도 이와 비슷한 말을 남겼지만, 이 문구는 스파이더맨 코믹스에서 벤 삼촌의 말로 가장 널리 알려져 있습니다. 물론 이 문구가 문화적으로 널리 통용되는 이유 중 하나는 TLS 검사를 비롯해 수많은 상황과 주제에 적용할 수 있기 때문입니다.
Venafi와 F5를 통한 머신 아이덴티티 보호
‘머신 아이덴티티’란 간단히 말해 자동화된 프로세스가 자신의 신원을 식별할 수 있도록 하고, 다른 자동화 시스템과 프로세스가 관련 리소스에 적절한 수준의 접근 권한을 부여하도록 하는 방법을 의미합니다. 이 개념 자체는 새로운 것이 아닙니다. 비교적 새로운 점은 이를 구현해야 하는 규모입니다.
마이너와 미니언: 데이터 유출만이 비용을 초래하는 것은 아닙니다
물론 데이터 유출은 더 큰 비용을 초래할 수 있고(적어도 지금은), 실패 사실을 세상에 드러낼 수밖에 없게 합니다(통지 의무가 있으니까요). 하지만 보안을 단순히 데이터 노출 문제로만 봐서는 안 됩니다. 요즘은 데이터가...
내 클라우드에서 나가!
F5의 Jay Kelley가 전하는 최신 소식에는 Microsoft Office 365용 신규 ID 및 액세스 솔루션을 배포할 때 고려해야 할 사항이 정리되어 있습니다.
Shift(웹 앱) 보안 레터
웹 앱 보안을 개발 초기 단계로 앞당기세요. F5 블로그에서 DevOps 파이프라인 초기에 보안을 통합하여 취약점을 예방하고 시간을 절약하는 방법을 알아보세요.