AI 추론이 데이터 센터 아키텍처에 미치는 영향

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

IT 예산이 전략의 성패를 좌우한다는 말이 있습니다. 그렇다면 AI 전략은 순조롭게 추진되고 있는 셈입니다.

당사의 최신 연구에 따르면, 조직들은 평균적으로 IT 예산의 18%를 AI에만 할당하고 있습니다. 하지만 이 18%를 어떻게 배분하는지를 보면 각 조직의 AI 전략을 엿볼 수 있습니다.

현재 AI 예산의 약 18%는 AI 기능을 통합하거나 제공하는 타사 애플리케이션인 AI 서비스에 투입되고 있습니다. 나머지는 모델(19%), 개발(16%), 보안(9%), 데이터 기술(11%), GPU(9%)에 사용됩니다.

학습(50%)과 추론(50%)에 대한 지출이 동일하게 배분되고, AI가 퍼블릭 클라우드(80%)와 온프레미스(54%)에 분산될 것이라는 조사 결과를 종합해 보면, 조직들이 전체 AI 수명 주기를 지원하기 위해 인프라에 상당한 변화를 계획하고 있음을 짐작할 수 있습니다.

이러한 지원을 위해서는 네트워크를 새로운 관점에서 살펴봐야 합니다.

학습과 추론을 모두 지원하는 인프라를 구축하려면 Kubernetes와 같은 최신 애플리케이션 환경뿐 아니라 AI 인스턴스 간, 그리고 모델과 이를 사용하는 애플리케이션 간에 트래픽이 어떻게 흐르는지도 세심하게 고려해야 합니다.

NVIDIA가 가속 기술(GPU, DPU, IPU 등)을 제공하는 유일한 업체는 아니지만, 참조 아키텍처 분야에서는 선도적인 위치에 있습니다. 이러한 세부 사항은 네트워킹 및 확장성 아키텍처에 상당한 영향을 미칩니다.

AI 포드, 클러스터 및 팩토리

현재 업계에서는 Kubernetes 고유 용어의 사용을 두고 상당한 우려가 제기되고 있습니다. 운영자들은 포드와 클러스터의 정의를 이해하게 되었지만, 주요 GPU 공급업체들은 대규모 추론 배포와 관련해 이러한 정의를 모호하게 사용하고 있습니다.

예를 들어 NVIDIA는 Kubernetes 클러스터를 AI 팟이라고 부릅니다. 그리고 서로 연관된 클러스터 집합을 AI 팩토리라고 부릅니다.

저는 용어를 두고 논쟁하려는 것이 아닙니다. 그런 논쟁에서는 좀처럼 이기지 못하니까요. 대신 이러한 AI 역량 단위와 그것이 네트워크에 어떤 의미를 갖는지에 초점을 맞추겠습니다.

특히 생성형 AI를 확장할 때 직면하는 현실 중 하나는 컴퓨팅 사이클에 대한 수요입니다. 구체적으로는 GPU 컴퓨팅 사이클입니다. 이러한 수요를 충족하려면, 특히 AI 서비스 제공업체의 경우 복잡한 AI 컴퓨팅 유닛을 구축해야 합니다. NVIDIA는 이러한 유닛을 AI 팟(AI pod)이라고 부르지만, 다른 업체들도 저마다 고유한 명칭을 사용할 것입니다. 본질적으로는 Kubernetes 클러스터입니다.

이는 AI 컴퓨팅 유닛 내부에서 대량의 동서(E-W) 트래픽이 발생한다는 뜻이지만, 동시에 대량의 남북(N-S) 트래픽이 해당 AI 컴퓨팅 유닛으로 유입된다는 뜻이기도 합니다. 바로 이 지점, 즉 기존 데이터 센터 인프라와 새롭게 부상하는 AI 컴퓨팅 복합체의 경계에서 중대한 변화가 일어나고 있습니다.

그 경계에서는 많은 작업이 이루어지며, 특히 테넌트별 네트워크 격리가 필요한 서비스 제공업체의 경우 더욱 그렇습니다. 또한 AI 리소스에 과부하가 걸리지 않도록 속도를 제한하는 기능을 비롯해 L4~L7 트래픽 관리에 대한 수요도 상당합니다. 확장성과 분산을 위한 일반적인 부하 분산은 물론, 고급 CGNAT 기능과 같은 네트워크 서비스도 필요합니다.

생산성 향상부터 코드 및 콘텐츠 생성, 워크플로 자동화, 그리고 물론 운영에 AI를 활용하려는 높아지는 관심에 이르기까지 점점 확대되는 비즈니스 사용 사례를 지원하기 위해 AI 구현을 확장하려는 기업에도 이러한 기능이 상당 부분 필요합니다. 테넌트별 격리가 기업의 필수 요건은 아닐 수 있지만, 자동화 및 운영 분석과 같은 우선순위가 높은 AI 워크로드가 우선순위가 낮은 AI 워크로드로 인해 리소스를 충분히 확보하지 못하는 상황을 방지하는 데 도움이 될 수 있습니다.

서비스 제공업체든 기업이든 데이터 센터의 네트워크에는 상당한 변화가 일어날 것입니다. 기존 데이터 센터 아키텍처에 AI 워크로드를 도입하면 확장에 실패하거나 안정적인 운영조차 어려워질 수 있습니다.

데이터 센터 아키텍처의 변화를 이해하는 것뿐만 아니라, 모든 AI 워크로드와 궁극적으로 이를 활용하게 될 비즈니스를 지원할 수 있도록 데이터 센터 네트워크를 성공적으로 현대화하는 데 필요한 기능을 제공하는 BIG-IP Next SPK와 같은 도구 및 기술을 갖추는 것도 중요합니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물