AI 앱 제공의 10대 과제: 낮은 리소스 활용률

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

기존 ADC10은 모든 운영 팀이 공감하는 문제, 즉 컴퓨팅, 스토리지 및 네트워크 리소스의 비효율적인 사용으로 인해 비용이 증가하고 확장성이 제한되는 문제에 초점을 맞춥니다. 리소스를 과도하게 프로비저닝하면 비용이 낭비되고, 부족하게 프로비저닝하면 성능이 저하됩니다. 앞서 설명한 해결책은 트래픽을 더 효과적으로 분산하고, 지능형 상태 점검과 프로그래밍 가능한 제어를 활용하여 시스템 전반에서 리소스를 효율적으로 사용하는 것입니다. 이는 지금도 유효합니다.

AI로 인해 달라지는 점은 리소스 사용률을 더 이상 예측할 수 없게 된다는 것입니다.

기존 애플리케이션은 비교적 일정한 방식으로 리소스를 사용합니다. 하지만 AI 시스템은 그렇지 않습니다. AI 시스템의 리소스 사용량은 순간적으로 급증하고, 컴퓨팅 집약적이며, 요청에 따라 변동 폭이 매우 큽니다. 이로 인해 과거에는 용량 계획의 문제였던 것이 실시간 할당의 문제로 바뀝니다.

리소스 활용률 저하로 인한 결과

성능에 미치는 영향

기존 시스템에서는 비효율적인 리소스 활용이 불균등한 부하 분산으로 나타납니다. 일부 서버는 유휴 상태인 반면 다른 서버는 과부하 상태가 됩니다. 그 결과 응답 시간이 느려지고 용량이 낭비됩니다. AI는 이와는 다른 유형의 불균형을 초래합니다.

추론 워크로드는 균일하지 않습니다. 어떤 요청은 간단할 수 있지만, 다른 요청은 프롬프트 크기, 컨텍스트 길이 또는 추론 깊이로 인해 몇 자릿수나 더 많은 컴퓨팅 자원을 소모할 수 있습니다. 동일한 모델 내에서도 요청에 따라 성능이 크게 달라질 수 있습니다.

이러한 변동성으로 인해 부하를 정확히 예측하고 효율적으로 분산하기가 훨씬 더 어려워집니다.

요청의 연산 부하를 고려하지 않고 라우팅하면 특정 지점에 부하가 집중됩니다. GPU나 추론 노드가 예기치 않게 포화되고, 대기열이 쌓이며, 지연 시간이 급증합니다. 반면 다른 리소스는 해당 워크로드에 선택되지 않아 충분히 활용되지 못합니다.

따라서 불균등한 분산이라는 익숙한 성능 문제는 여전히 남아 있지만, 그 원인은 달라집니다. 이제는 단순히 얼마나 많은 요청이 전송되는지가 아니라, 각 요청을 처리하는 데 얼마나 많은 연산 비용이 드는지가 중요합니다.

가용성에 미치는 영향

기존 ADC10은 낮은 리소스 활용률을 워크로드를 효율적으로 유지할 수 있는 역량을 비롯한 광범위한 제공 관련 문제와 연관 짓습니다. AI 환경에서는 비효율적인 리소스 활용이 가용성에 예상보다 훨씬 큰 영향을 직접 미칠 수 있습니다.

AI 워크로드는 희소한 리소스, 특히 GPU와 같은 특수 컴퓨팅 리소스의 제약을 받습니다. 이러한 리소스가 소진되면 시스템 성능이 점진적으로 저하되는 것이 아니라 멈춰 버립니다. 요청이 대기열에 쌓이거나 실패하고, 시간 초과가 증가합니다.

이 문제를 더욱 어렵게 만드는 것은 가용성이 단순히 용량뿐만 아니라 리소스 할당 결정에도 좌우된다는 점입니다.

시스템 전체적으로는 총용량이 충분하더라도, 적절한 위치와 시점에 또는 적합한 유형의 요청에 해당 용량을 사용할 수 없다면 시스템은 리소스가 고갈된 것처럼 작동합니다. 모델 엔드포인트가 기술적으로는 온라인 상태이지만 추가 작업을 처리하지 못할 수 있습니다. 특정 리전에 유휴 용량이 있더라도 지연 시간이나 규정 준수 제약으로 인해 이를 사용하지 못할 수 있습니다. 더 저렴한 모델을 사용할 수 있는데도 라우팅 로직이 지나치게 경직되어 선택되지 않을 수 있습니다.

이로 인해 가용성이 분산되는 상황이 발생합니다. 시스템 내에서 어떤 경로를 거치느냐에 따라 일부만 사용 가능한 상태가 됩니다.

이는 단순한 가동 시간보다 해결하기 어려운 문제입니다. 모델, 리전, 티어 전반에서 워크로드를 실시간으로 지능적으로 전환할 수 있어야 합니다.

확장성에 미치는 영향

비효율적인 리소스 사용은 조직이 조기에 확장하도록 내몰아, 더 효율적으로 처리할 수 있었던 워크로드를 감당하기 위해 인프라를 추가하게 만듭니다. 과거에는 이로 인해 리소스를 과도하게 프로비저닝했고, 클라우드 환경에서는 비용이 급증할 수 있었습니다. AI는 이러한 추세를 극적으로 가속화합니다.

추론에는 많은 비용이 듭니다. 임베딩과 컨텍스트를 위한 스토리지도 빠르게 늘어납니다. 데이터 파이프라인은 확장됩니다. 리소스를 효율적으로 사용하지 못하면 기본적인 대응은 용량을 더 추가하는 것입니다. 당분간은 효과가 있습니다.

하지만 이러한 방식은 재정적으로나 운영적으로나 금세 지속 불가능해집니다. AI 시스템을 확장하는 것은 단순히 서버를 더 추가하는 문제가 아닙니다. 성능과 비용 특성이 서로 다른 다양한 컴퓨팅 유형이 복잡하게 얽힌 환경을 관리하는 일입니다.

활용률이 낮으면 규모 확장은 비효율을 해결하기는커녕 오히려 증폭시킵니다.

대안은 리소스 활용 방식에 대해 더 현명한 결정을 내리는 것입니다. 여기에는 작업에 적합한 모델을 선택하고, 컨텍스트를 검색하는 시점과 방식을 최적화하며, 정적인 규칙이 아닌 실시간 조건에 따라 워크로드가 분산되도록 하는 것이 포함됩니다.

다시 말해, 확장성은 보유한 인프라의 규모보다 이를 얼마나 지능적으로 활용하느냐에 더 크게 좌우됩니다.

운영 효율성에 미치는 영향

리소스 활용률이 낮으면 언제나 운영 비용과 복잡성이 증가합니다. 리소스를 과도하게 프로비저닝하면 비용이 낭비되고, 부족하게 프로비저닝하면 리소스 경합이 발생해 사후 대응식 확장이 불가피해집니다. AI는 이 두 가지 문제를 모두 더욱 심화시킵니다.

워크로드를 예측하기 어렵기 때문에 팀은 필요 이상으로 대비하는 경우가 많습니다. 성능 문제를 방지하기 위해 필요하다고 예상되는 것보다 더 많은 용량을 프로비저닝합니다. 그 결과, 특히 수요가 변동할 때 상당한 리소스가 유휴 상태로 남게 됩니다.

동시에 예기치 않은 급증은 여전히 발생합니다. 복잡한 추론 요청이 급증하면 용량을 과도하게 프로비저닝했음에도 가용 리소스가 감당하지 못할 수 있습니다. 결국 팀은 낭비되는 용량과 성능 저하라는 두 가지 문제를 모두 해결해야 합니다.

운영 측면에서 이는 끊임없이 균형을 맞춰야 하는 상황을 초래합니다.

팀은 임계값을 조정하고 라우팅 규칙을 수정하며, 특정 워크로드가 불균형적으로 많은 리소스를 소비하는 이유를 파악하는 데 시간을 할애합니다. 작업 단위가 더 이상 균일하지 않기 때문에 관측 가능성은 더욱 중요해지는 동시에 확보하기도 더 어려워집니다.

따라서 효율성은 가시성과 제어 능력에 달려 있습니다. 이 두 가지가 모두 갖춰지지 않으면 리소스 관리는 사후 대응에 치우치고 비용도 많이 들게 됩니다.

리소스 활용 최적화를 위한 모범 사례

프로그래밍 가능한 인프라 및 동적 할당

기존 애플리케이션에서는 프로그래밍 가능한 인프라와 동적 트래픽 조정이 핵심 솔루션입니다. 조직은 실시간 지표를 기반으로 트래픽을 라우팅하여 시스템 전반의 부하를 분산하고 활용도를 높일 수 있습니다. 이러한 접근 방식은 AI 환경에서 더욱 중요해집니다.

정적 부하 분산은 요청이 대체로 동일하다고 가정합니다. 하지만 AI에서는 이러한 가정이 성립하지 않습니다. 이제 요청만으로는 리소스 소비량을 예측할 수 없습니다. 연결 수나 단순한 알고리즘 기반 분산 외에도 다양한 요소를 고려해 트래픽을 라우팅해야 합니다. 요청 처리 비용, 모델 성능, 시스템 상태를 파악할 수 있어야 합니다.

프로그래밍 기능을 활용하면 실시간으로 상황에 맞게 대응할 수 있습니다. 지연 시간, 비용 또는 가용성에 따라 요청을 서로 다른 모델로 전달할 수 있습니다. 상황 변화에 따라 워크로드를 리전이나 클러스터 간에 이동할 수 있습니다. 리소스가 제한된 경우 비용이 많이 드는 작업을 제한하거나 연기할 수 있습니다.

이를 통해 리소스 활용은 수동적으로 결정되는 결과가 아니라 능동적인 제어 루프가 됩니다.

지능형 라우팅을 통한 효율성 향상

ADC10의 핵심은 리소스를 효율적으로 활용하는 것입니다. AI는 ‘효율적’이라는 개념의 범위를 확장합니다.

이제는 단순히 트래픽을 균등하게 분산하는 것만이 아닙니다. 적절한 워크로드를 적절한 리소스에 배정하는 것이 중요합니다.

이는 간단한 요청에는 무조건 가장 강력한 모델을 사용하는 대신 더 작은 모델을 활용하는 것을 의미할 수 있습니다. 컴퓨팅 비용을 줄이기 위해 컨텍스트 크기를 제한하는 것을 의미할 수도 있습니다. 결과를 다시 계산하는 대신 캐싱하거나 재사용하는 것을 의미할 수도 있습니다. 아예 AI를 사용하지 말아야 할 때를 판단하는 것을 의미할 수도 있습니다.

이러한 모든 결정은 기존의 부하 분산을 넘어서는 차원의 문제입니다. 단순히 트래픽만이 아니라 의도까지 파악해야 합니다.

바로 이 지점에서 애플리케이션 딜리버리는 다시 한번 진화합니다. 라우팅은 리소스 오케스트레이션으로 발전합니다. 목표는 단순히 시스템을 계속 가동하는 것이 아니라, 모든 컴퓨팅 리소스를 효과적으로 활용하는 것입니다.

결론

ADC10은 항상 낭비를 방지하고 인프라를 효율적으로 활용하여 성능, 가용성 및 확장성을 뒷받침하는 데 중점을 두어 왔습니다.

AI가 가져오는 것은 변동성입니다.

리소스 소비량은 더 이상 예측할 수 없습니다. 워크로드별 비용 편차도 큽니다. 특수 목적 컴퓨팅은 새로운 제약을 초래합니다. 또한 요청당 비용이 더 높기 때문에 비효율로 인한 비용은 더 빠르게 증가합니다.

대응 방식은 기존 지침과 동일한 패턴을 따르되, 더욱 긴급하게 이루어져야 합니다.

리소스가 어떻게 소비되고 있는지 파악할 수 있어야 합니다. 실시간으로 대응할 수 있는 프로그래밍 기능도 필요합니다. 또한 단순히 요청 수만이 아니라 각 요청의 실제 비용까지 고려해 더 지능적인 라우팅 결정을 내려야 합니다.

AI 기반 시스템에서 리소스를 비효율적으로 활용하는 것은 단순한 낭비에 그치지 않기 때문입니다.

이는 성능 저하, 가용성 제약, 비용 폭증으로 이어지는 지름길입니다.

전 세계 조직이 직면한 애플리케이션 딜리버리의 10대 과제에 대해 자세히 알아보세요.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물