추론: 당신이 없는 척하고 있는 AI의 가장 중요한 요소

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

모두가 AI를 마치 API가 전부인 것처럼 이야기하고 싶어 합니다. 모델이 전부인 것처럼요. "추론 완료"라고 표시되는 번쩍이는 대시보드가 전부인 것처럼요. 하지만 그런 환상은 내부를 들여다보지 않을 때만 유지됩니다.

모든 챗봇, 에이전트, RAG 파이프라인, 오케스트레이션 계층의 이면에는 추론 서버가 있습니다. 비유도, 유행어도 아닙니다. 단지 JAR 파일 대신 모델을 실행하는 실제 애플리케이션 서버입니다. 기존 애플리케이션 서버와 마찬가지로 추론 엔진은 성능 문제가 발생하고, 관측 가능성이 중요해지며, 실질적인 보안 공격 표면이 존재하는 곳입니다.

문제는 무엇일까요? 거의 아무도 추론 서버를 그런 식으로 다루지 않는다는 것입니다.

기업에서의 추론은 이론에 그치지 않습니다

According to the Uptime Institute의 2025년 AI 인프라 설문조사에 따르면, 데이터 센터 운영업체의 32%가 이미 추론 워크로드를 지원하고 있습니다. 또 다른 45%는 향후 몇 달 내에 지원할 예정이라고 답했습니다. 이는 실험적인 시도가 아닙니다. 컴퓨팅 기반 자체가 변화하고 있는 것입니다. 하지만 우리는 여전히 이러한 변화를 대부분 제대로 파악하지 못하고 있습니다.

추론 서버는 이론 속 개념이 아닙니다. 각각 이름도 있습니다. vLLM. TGI. Triton. Ollama. 그리고 이들은 서로 대체할 수 없습니다. 예를 들어 vLLM은 더 뛰어난 성능을 보이는 것으로 입증되었습니다 Hugging Face Transformers보다 최대 24배 높은 성능을 내며, PagedAttention과 배치 스케줄링 같은 아키텍처 개선 덕분에 지속 처리량에서 TGI보다 3배 이상 앞섭니다. 이는 단순한 최적화상의 차이가 아닙니다. 인프라에 직접적인 영향을 미치는 요소입니다.

구체적인 수치로 보면, 배치 모드에서 vLLM은 초당 500개 이상의 토큰 처리량을 유지하는 반면 TGI는 150개에도 미치지 못합니다. 프롬프트 평가 시간은 40% 이상 단축되며, 이는 응답 속도 향상과 GPU 활용률 개선으로 직결됩니다. 프로덕션 환경에서는 이것이 추론을 확장할 수 있느냐, 부하를 견디지 못하고 정체되느냐를 가르는 차이입니다.

그리고 성능이 전부가 아닙니다. vLLM과 Ollama 같은 도구는 총 소요 시간, 토큰 단위 평가 구간, 프롬프트와 응답의 처리 시간 구분 등 상세한 텔레메트리를 제공합니다. 단순히 토큰 수만 보여주는 것이 아니라 각 토큰이 언제, 어디서, 얼마나 오랫동안 연산되었는지까지 알려줍니다. 이러한 수준의 세분화된 정보가 있어야 드리프트의 원인을 파악하고 가드레일을 적용할 수 있습니다. 이런 정보가 없다면 아무것도 모른 채 확장하는 셈입니다.

이전 세대의 애플리케이션 서버와 마찬가지로, 추론은 애플리케이션 전송 및 보안이 AI와 만나는 지점입니다. 이곳에서는 트래픽 조정과 부하 분산이 이루어지고, 보안과 개인정보 보호를 위해 페이로드를 검사하고 분석하여 필요한 조치를 취합니다. 또한 프롬프트를 정제하고 응답을 필터링하며 성능을 최적화합니다. 추론은 AI 아키텍처의 전략적 제어 지점으로, 조직은 이곳에서 레거시, 최신, AI 여부와 관계없이 애플리케이션과 API를 늘 괴롭히는 10대 전송 과제를 해결할 수 있습니다.

추론이 뒤처지는 이유

우리는 여전히 API 중심의 사고방식에 갇혀 있기 때문에 추론을 간과하는 경우가 많습니다. 하지만 추론이 단지 인그레스 뒤에서 실행되는 또 하나의 서비스일 뿐이라고 생각한다면, 부하가 걸린 상태에서 RAG 루프를 디버깅해 본 적이 없는 것입니다. 여러 에이전트 체인에서 동시에 발생하는 오작동을 추적하거나, 감사를 위해 모든 의사 결정을 기록해야 하는 규제 대상 대규모 언어 모델(LLM)에서 프롬프트 인젝션에 대응해 본 적도 없는 것입니다.

이는 이론적인 문제가 아닙니다. 언제든 발생할 수 있는 네트워크 병목 현상입니다.

추론 서버는 모델을 담는 컨테이너입니다. 모델이 실행되는 런타임이자 병목 지점이며, 보안 경계이기도 합니다. 바로 AI를 실제로 확장하는 곳입니다. 모델은 수학적 구조에 불과합니다. 데이터세트이자 정교한 엑셀 스프레드시트와도 같습니다. 모델 자체를 확장하는 것이 아니라, 추론 서버에 모델을 로드한 뒤 그 서버를 확장하는 것입니다.

따라서 AI를 실제 운영 환경에 도입할 생각이라면, 추상적인 아키텍처 다이어그램에 대한 이야기는 그만두고 더 까다로운 질문을 던지기 시작해야 합니다:

• 현재 어떤 추론 엔진을 운영하고 있는가?
• 어디에 배포되어 있나요?
• 누가 액세스할 수 있나요?
• 요청별로 어떤 원격 측정 데이터를 수집하나요?

이는 학문적인 우려에 그치지 않습니다. 인프라의 현실입니다. 이를 오래 외면할수록 AI 배포 환경은 더욱 취약해집니다. 모델은 중요합니다. API도 도움이 됩니다. 하지만 현실의 제약이 드러나는 지점은 바로 추론입니다. 추론을 확장하지 못한다면 AI를 확장하고 있는 것이 아닙니다.

추론은 AI 인프라의 핵심 구성 요소입니다

대부분의 조직은 AI와 관련해 여전히 하이브리드 방식을 취하고 있습니다. 편의성을 위해 SaaS 기반 도구에 의존하는 한편, 자체 호스팅 추론도 신중하게 검토하고 있습니다. 문제는 SaaS가 어려운 부분을 감춘다는 점입니다. 추론은 세련된 API와 잘 다듬어진 UI 뒤에 추상화되어 있습니다. 엔진의 오작동이나 GPU의 병목 현상, 프롬프트 처리 타이밍의 편차는 눈에 보이지 않습니다. 하지만 자체 호스팅 영역에 발을 들이는 순간(결국 그렇게 될 것입니다) 이 모든 문제를 떠안게 됩니다. 성능, 관측 가능성, 보안은 단순히 ‘있으면 좋은 것’이 아니라 필수 요건입니다.

조직이 추론이 내부적으로 실제 어떻게 작동하는지 이해하지 못한다면, AI 전략을 수립하고 있는 것이 아닙니다. 그저 다른 누군가가 제대로 해냈기를 바라고 있을 뿐입니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물