F5, 내부에서부터 AI 추론 확장

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

인프라 르네상스에는 이런 구호가 있습니다. 서버는 서빙에, 추론은 추론에 전념하게 하라.

기술 산업의 초창기, 저는 수년간 SSL 가속기를 테스트하고 분석하는 데 매달렸습니다. 이 작은 카드들은 디지털 비즈니스와 상거래의 폭발적인 성장으로 인해 발생한 중대한 문제를 해결하기 위해 설계되었습니다. 즉, SSL을 사용하는 보안 기능이 CPU 자원을 소모해 심각한 성능 저하를 일으키는 문제였습니다. 이에 F5를 비롯한 업계는 이러한 기능을 대신 처리하는 하드웨어를 개발하여 서버가 본연의 역할에 집중하도록 했습니다.

오늘날 우리는 AI, 특히 추론에서 동일한 문제가 발생하는 것을 목격하고 있으며, 공교롭게도 같은 유형의 해결책도 등장하고 있습니다. 바로 서버는 서버 본연의 역할에 집중하게 하고 추론은 추론 전용 하드웨어에 맡기는 특수 하드웨어입니다.

네, 문법적으로 맞는 표현인지는 잘 모르겠지만 일단은 이렇게 쓰기로 하죠. 그럴까요? 감사요.

앞서 언급했듯이, AI 애플리케이션은 아키텍처 구조상 현대적인 애플리케이션입니다. 하지만 AI 애플리케이션의 핵심에는 추론이 있으며, 바로 이 지점에서 AI는 ‘일반적인’ 현대적 애플리케이션과 차이를 보입니다.

실제 추론 과정

앞서 살펴본 것처럼 AI 컴퓨팅 복합체는 여러 CPU와 GPU를 묶어 구축됩니다. 이러한 컴퓨팅 리소스에는 클러스터가 효율적으로 작동하도록 유지해야 하는 구성 비율과 균형이 있습니다. CPU가 처리 속도를 따라가지 못할 때마다 매우 고가인 GPU가 유휴 상태로 남게 됩니다.

추론 서버에서 이루어지는 처리 중 실제 추론에 해당하는 부분은 일부에 불과합니다. 상당 부분은 HTTP 및 API 요청을 처리하는 일반적인 웹 작업입니다. CPU를 사용하고 종종 과부하가 걸리는 것은 바로 추론 서비스의 이 부분입니다. 이런 상황이 발생하면 추론 서버 측이 요청을 처리하느라 병목 상태에 빠지면서 GPU 활용도는 점점 낮아집니다.

아마도 이러한 이유로 조직의 15%가 보유하고 있거나 구매한 GPU 중 실제로 사용 중인 비율이 50% 미만이라고 답한 것으로 보입니다(대규모 AI 인프라 현황 2024).

여기서 문제의 일부는 인프라가 처리해야 할 작업에 CPU 리소스를 사용한다는 점입니다. 트래픽 관리, 보안 운영, 모니터링과 같은 서비스도 CPU 리소스를 소비해 전체 시스템의 부하를 가중합니다. 그 결과 추론 서버의 용량과 성능이 저하되고 GPU 리소스 활용률도 낮아집니다.

다행히도 이러한 인프라 혁신의 핵심은 인프라 작업을 새로운 처리 장치인 DPU로 오프로드하여 추론 작업에 사용할 CPU 리소스를 확보하는 것입니다.

여기서 DPU의 흥미로운 점은 실제로 두 가지 모드를 지원한다는 것입니다. 그중 한 모드에서는 인피니밴드 또는 이더넷을 통한 RDMA와 같은 네트워킹 작업을 오프로드할 수 있습니다. 이는 AI 모델을 학습하거나 대규모 사용자 기반을 대상으로 추론을 확장하는 경우처럼 상당한 양의 데이터가 오가는 AI 컴퓨팅 복합 환경을 구축할 때 큰 도움이 됩니다.

하지만 DPU는 ‘DPU’ 모드로 구성할 수도 있습니다. Kubernetes에서는 DPU가 별도의 노드로 표시되어 애플리케이션 전송 및 보안과 같은 기능을 실행할 수 있습니다. 이를 통해 예측 가능성이 낮고 요구 사항이 더 많은 인프라 워크로드를 클러스터 내 전용 노드로 ‘오프로드’하여 추론 서비스에 필요한 CPU 컴퓨팅 리소스를 효과적으로 확보할 수 있습니다. 따라서 F5 BIG-IP Next SPK(Kubernetes용 서비스 프록시)와 같은 솔루션이 API를 통해 인바운드 N-S AI 요청을 관리하고 보호하며, AI 컴퓨팅 복합 환경 내의 적절한 추론 서비스로 요청을 올바르게 분산할 수 있습니다.

이 접근 방식을 사용하면 당사 솔루션이 Kubernetes 네이티브이므로 조직은 기존의 인프라 Kubernetes 관리 지식과 투자 자산을 활용할 수 있습니다. 코어, 클라우드, 엣지 등 환경에 관계없이 클러스터 수준에서 운영되며, 모든 환경에서 일관된 방식으로 작동합니다.

또한 애플리케이션 제공 및 보안 서비스 관리에 대한 책임을 분리하여, 네트워크 및 보안 운영 팀이 개발 및 머신러닝 운영 팀에서 관리하는 AI 워크로드와 독립적으로 인프라를 관리할 수 있도록 합니다.

마지막으로, 애플리케이션 전송 및 보안에 DPU를 활용하면 조직의 멀티테넌시 요구 사항을 더욱 효과적으로 지원할 수 있습니다. 이는 고객 워크로드뿐만 아니라 모델 워크로드까지 격리하는 것을 의미합니다. 연구 결과에 따르면 조직은 이미 평균 2.9개의 서로 다른 모델을 사용하고 있습니다. 일관된 솔루션을 통해 각 모델의 사용을 관리할 수 있다면 개별 모델이 사용하고 생성하는 데이터의 보안과 개인정보 보호에 대한 신뢰도를 높일 수 있습니다.

F5가 NVIDIA DPU를 활용해 AI 관련 사용 사례를 지원한 것은 이번이 처음이 아닙니다. 하지만 모든 규모의 고객이 확장 가능하고 안전한 AI 컴퓨팅 복합 환경을 구축하도록 지원하는 솔루션을 공동 개발한 것은 이번이 처음입니다. 이를 통해 고객은 어떤 환경에서든 안전하고 확신 있게 추론의 힘을 활용하고, GPU 리소스가 유휴 상태로 방치되지 않도록 사용을 최적화할 수 있습니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물