생성형 AI는 AI가 인프라에 미치는 영향을 가속화하고 있습니다. 우리는 이미 인프라 르네상스 시대에 접어들었습니다, 기술자들은 데이터 센터의 기반을 이루는 네트워크, 컴퓨팅 및 스토리지 계층에 다시 관심과 찬사를 보내기 시작했습니다. 주로 무어의 법칙의 ‘종말’과 엣지 컴퓨팅의 등장에 힘입어, 우리는 이미 수년 전부터 특수 목적 처리 장치인 xPU의 부상을 목격하고 있었습니다.
오늘날, 생성형 AI는—물론 비디오 게임의 영향도 있지만—GPU를 누구나 아는 용어로 만들었고, GPU 최적화라는 새로운 요구를 낳았습니다.
이는 GPU에 대한 수요는 높은 반면 공급은 부족하기 때문입니다. 조직들은 이미 이 강력한 하드웨어에 전체 IT 예산의 상당 부분을 지출하고 있거나 지출할 계획입니다. 이러한 투자 중 일부는 자체 인프라에 투입되고, 일부는 퍼블릭 클라우드 인프라를 지원하는 데 사용됩니다.
하지만 이 모든 투자는 AI 애플리케이션을 운영하는 데 필요한 GPU 리소스를 확보하기 위한 것입니다.
하지만 주변을 살펴보면, 새로운 유형의 리소스를 인프라에 도입하는 데에는 여러 과제가 따른다는 것을 알 수 있습니다. 수년 동안 조직들은 인프라를 범용재로 취급해 왔습니다. 즉, 모두 똑같다고 여겨 온 것입니다.
실제로도 대체로 그랬습니다. 조직들은 모두 동일한 메모리와 컴퓨팅 성능을 갖춘 화이트박스 서버나 유명 브랜드 서버로 표준화했습니다. 덕분에 인프라 운영이 더 수월해졌습니다. 트래픽 관리 시 워크로드가 server8756에서 실행되는지 server4389에서 실행되는지 신경 쓸 필요가 없었기 때문입니다. 두 서버의 성능은 동일했습니다.
하지만 지금은 어떨까요? GPU가 이 모든 것을 바꿔 놓았습니다. 이제 인프라 운영팀은 GPU 리소스가 어디에 있고 어떻게 활용되고 있는지 파악해야 합니다. 그런데 상황이 그리 순조롭지 않을 수 있다는 징후가 나타나고 있습니다.
According to the 2024년 대규모 AI 인프라 현황에 따르면, “응답자의 15%는 보유 및 구매한 GPU 중 실제 사용 중인 비율이 50% 미만이라고 답했습니다.”
물론 해당 조직 중 15%는 단순히 GPU 리소스의 50% 이상을 사용할 만큼의 워크로드가 없을 수도 있습니다. 반대로 충분한 워크로드가 있는데도 제대로 활용하지 못하고 있을 가능성도 있습니다.
분명 일부 조직은 후자에 해당할 것입니다. 여유 GPU 용량이 충분한데도 AI 앱의 성능이 사용자의 기대에 미치지 못하는 이유를 몰라 고개를 갸웃하게 될 것입니다.
그중 일부는 인프라와 관련된 문제로, 워크로드에 필요한 리소스가 적절히 할당되도록 해야 합니다. 결국 AI 앱의 모든 워크로드에 GPU 용량이 필요한 것은 아닙니다. GPU의 이점을 누릴 수 있는 워크로드는 추론 서버 정도뿐입니다. 따라서 인프라 계층에서 전략적인 아키텍처 설계가 필요합니다. 즉, GPU를 많이 사용하는 워크로드는 GPU 지원 시스템에서 실행하고, 그 밖의 앱 워크로드는 일반 시스템에서 실행되도록 해야 합니다.
즉, 어떤 노드가 GPU를 지원하고 어떤 노드가 지원하지 않는지 파악하는 프로비저닝 정책이 필요합니다. 이는 GPU 최적화의 핵심 요소입니다. 또한 이러한 리소스에 요청을 분산하는 앱 서비스도 더 지능적이어야 합니다. 부하 분산, 인그레스 제어, 그리고 게이트웨이처럼 요청을 분산하는 기능은 인프라 활용 효율을 높이는 데 중요한 역할을 합니다. 모든 요청이 한두 대의 GPU 지원 시스템에만 몰리면 성능이 저하될 뿐만 아니라, 조직이 큰 비용을 들여 확보한 GPU 용량이 유휴 상태로 남게 됩니다.
이는 퍼블릭 클라우드의 GPU 리소스를 활용해야 한다는 의미일 수도 있습니다. 그리고 그렇게 하려면 공유되는 데이터의 보안을 보장하기 위해 네트워킹 서비스를 활용해야 합니다.
다시 말해, AI 애플리케이션은 인프라의 분산 방식뿐 아니라 인프라를 실시간으로 프로비저닝하고 관리하는 방식에도 상당한 영향을 미칠 것입니다. 운영팀이 어떤 리소스를 어디에서 사용할 수 있는지 최신 상태로 파악할 수 있도록 텔레메트리의 필요성이 커질 것이며, 프로비저닝이 워크로드 요구 사항에 부합하도록 지원하는 효과적인 자동화도 필요해질 것입니다.
이것이 바로 조직이 전체 엔터프라이즈 아키텍처를 현대화해야 하는 이유입니다. 이제는 단순히 레이어나 계층만의 문제가 아니라, 이러한 레이어와 계층이 서로 연결되고 지원함으로써 디지털 성숙도가 높은 기업이 AI의 힘을 활용하는 데 필요한 기반을 마련하는 것이 중요하기 때문입니다.
작성자 소개
Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.
Lori Mac Vittie의 다른 블로그 게시물관련 블로그 게시물
AI 시대의 새로운 애플리케이션 제공 원칙으로 복잡성 극복하기
보안, 일관성, 완전 자동화에 중점을 둔 애플리케이션 제공의 새로운 6가지 원칙을 도입하여 복잡성 없이 하이브리드 멀티클라우드의 유연성을 누리세요.
디지털 혁신을 가속화하는 6가지 기술 역량
오늘날의 엔터프라이즈 아키텍처에는 기술 변화를 주도하는 데 핵심적인 민첩성, 확장성, 보안 및 관찰 가능성이 부족하지만, 이 여섯 가지 핵심 역량은 기업이 디지털 혁신 전반에 걸쳐 위험과 과제를 관리하는 데 도움이 될 것입니다.
하이브리드 근무가 ID 중심 보안으로의 전환을 이끌고 있습니다
자동화와 디지털화의 폭발적인 성장에 하이브리드 근무 모델로의 전환 추세가 더해지면서, IP 기반 보안에서 벗어나 ID 기반 액세스 전략으로 전환하는 움직임이 더욱 가속화될 것입니다.
관점의 현대화: 애플리케이션에서 경험으로
그리스와 로마의 신들처럼, 여러 신화에서도 동일한 존재가 다양한 모습으로 나타나는 것을 볼 수 있습니다. 본질적으로 각각의 화신은 기존 존재가 새로운 얼굴로 드러난 것입니다. 디지털 세계에서도 이와 비슷한 양상이 나타납니다. 우리가 ‘애플리케이션’이라고 부르는 것들은 흔히 기존 기능이 새로운 형태로 구현된 것이라 볼 수 있습니다.
코로나19 이후 기업 결제의 디지털 전환
디지털 결제는 과거의 현금만큼이나 보편화되었습니다. 코로나19 팬데믹으로 인한 봉쇄 조치는 소비자의 디지털 결제 서비스 의존도를 더욱 빠르게 높였습니다. 기업의 디지털 결제 도입 역시 가속화되었습니다. 대중을 상대로 영업하든 하지 않든 기업에는 여전히 지급해야 할 대금과 받아야 할 대금이 있기 때문입니다.
공급망 해킹과 보안에서 하드웨어의 역할
수석 아키텍트 Dave Schmitt와 CTO 오피스가 최근 Bloomberg의 Super Micro 관련 기사를 계기로 하드웨어 보안 전문성의 중요성을 되짚어봅니다. 또한 이 글에서는 시스템이 안전하게 보호되고 있는지 확인하기 위해 공급업체에 물어봐야 할 질문도 소개합니다.