AI, 추론, 토큰이라니, 세상에!

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

자, 여러분, 일단 멈춰 봅시다. 요즘 “토큰”이나 “모델” 같은 용어가 TikTok 영상 속 Z세대 은어처럼 마구 쓰이는데, 대부분은 완전히 잘못된 용법입니다.

할 말은 했어요.

이제는 (진작에 했어야 하지만) 추론 기반 애플리케이션이 어떻게 구축되는지, 토큰이 어디에서 생성되고 소비되는지, 그리고 퍼즐의 여러 조각이 어떻게 맞물리는지 자세히 살펴볼 때입니다. 커피 한 잔 챙겨서 바로 시작해 보죠.

추론 서버란 무엇인가요?

굳이 여기서부터 시작할 필요는 없겠지만, 그래도 짚고 넘어가겠습니다. 우리가 말하는 ‘추론’이란 사실 대규모 언어 모델(LLM)이 방대한 데이터를 바탕으로 사고하는 방식을 뜻합니다. LLM을 직접 호출하는 것은 아닙니다. 사실 ‘LLM API’라는 것은 존재하지 않으며, 그렇게 말하면 제가 엄마처럼 따끔한 눈초리를 보낼 겁니다.

추론을 호출하는 데 사용되는 API는, 놀랍게도, 추론 서버를 거칩니다.

추론 서버는 AI 모델을 위한 런타임으로, 애플리케이션 서버가 Java를 비롯한 다양한 개발 언어의 런타임 역할을 하는 것과 같습니다. 일반적으로 추론 서버 없이 로컬에서 모델을 실행하지는 않습니다. 널리 사용되는 추론 서버로는 Ollama, vLLM, NVIDIA Triton, HuggingFace Text Generation Interface(TGI) 등이 있습니다.

이제 일반적으로 애플리케이션 패키지를 배포하는 애플리케이션 서버와 마찬가지로, 추론 서버에는 ‘AI 패키지’(모델)를 배포합니다. 이 서버는 텍스트 생성, 토큰화, 임베딩과 같은 모델 추론 작업에 초점을 맞춘 최소한의 API 엔드포인트 집합(예: REST 또는 gRPC의 /generate, /completions, /embeddings)을 통해 AI 모델의 기능을 제공하기 위해 존재합니다.

추론 서버와 상호 작용하려면 앱을 구축합니다. 네, 전통적인 애플리케이션(물론 최신 애플리케이션일 수도 있습니다)을 구축하면 이 앱이 추론 서버와 통신합니다.

사용자도 브라우저나 휴대폰에서 앱을 사용하며, 일반적으로 평범한 API를 통해 여러분이 만든 앱과 통신합니다. 자, 이제 클라이언트에서 앱과 추론 서버로 갔다가 다시 돌아오는 완전한 메시지 흐름이 완성되었습니다.

네, 사실 데이터 계층을 추론 계층으로 대체한 새로운 형태의 3계층 웹 애플리케이션일 뿐입니다. 알아요, 정말 실망스럽죠?

가장 단순한 형태의 AI 앱은 데이터 계층을 추론 서버로 대체한 3계층 웹 애플리케이션입니다.

1. JSON 요청을 수신하고, 선택적으로 검색 증강 생성(RAG)을 수행한 다음, JSON으로 추론 서버를 호출합니다. RAG는 일반적으로 사용자 쿼리의 임베딩을 생성하고, 벡터 또는 검색 인덱스에서 유사한 콘텐츠를 찾은 뒤, 해당 조각들을 프롬프트에 결합하는 것을 의미합니다. 이 모든 과정에서도 여전히 JSON 형태로 트래픽이 전송됩니다. 아직 모델 토큰은 생성되지 않았습니다.
2. 추론 서버는 JSON을 파싱하고 텍스트를 토큰화하여 모델의 토큰으로 변환한 뒤, 컨텍스트와 할당량을 확인하고 호환되는 요청을 일괄 처리하여 모델을 실행한 다음, 출력 토큰을 다시 텍스트로 디코딩합니다. 이후 호출자에게 JSON 응답을 반환합니다. 스트리밍 방식인 경우 토큰이 생성되는 즉시 디코딩하여 전송합니다. 대부분의 API에는 입력 및 출력 토큰 수가 포함된 사용량 블록도 있습니다.

이것이 바로 추론입니다. 우리가 늘 중요하게 여겨 온 운영 원칙이 그대로 적용되는 새로운 유형의 애플리케이션 워크로드일 뿐입니다. 다만 이제는 세션, 쿠키, 쿼리 대신 토큰, 컨텍스트, 스트림으로 표현됩니다.

그렇다면 토큰은 대체 어디에 있을까요?

보통 사람들이 헷갈려서 용어 사용의 최우선 원칙에 어긋나게 단어를 쓰는 지점이 바로 여기입니다. 토큰은 LLM이 처리하는 단어의 단위입니다. 공식적으로 토큰은 추론 서버에서 토크나이저를 통해 생성됩니다.

비용 예측과 로컬 사용량 제한을 위해 앱에 토크나이저를 포함하여 토큰 수를 미리 계산할 수 있지만, 최종 토큰 수는 추론 스택에서 결정됩니다. 토큰은 모델의 표현 방식이지, 네트워크 트래픽이 아닙니다; 네트워크를 통해 전송되는 것은 JSON 텍스트입니다. API가 토큰 ID를 명시적으로 반환하는 경우에만 토큰 ID를 확인할 수 있습니다.

기본적으로 인프라에서는 토큰이 아니라 JSON을 봅니다. 토큰은 네트워크를 통해 전송되지 않습니다. 인프라가 토큰을 기준으로 동작하게 하려면 게이트웨이에서 동일한 토크나이저로 토큰 수를 계산하거나 모델 서버가 내보내는 토큰 수를 사용해야 합니다. 토큰은 AI의 화폐와도 같지만, 외부로 노출하지 않는 한 대부분 추론 스택 내부에만 존재합니다.

추론이 인프라에 미치는 영향

추론은 신비로운 것이 아닙니다. 새로운 조정 요소가 추가된 애플리케이션 워크로드일 뿐입니다. 트래픽은 JSON이고, 토큰은 모델의 처리 단위이며, 임베딩은 벡터입니다. 이들을 혼동하면 잘못된 제어 방식을 설계하고, 엉뚱한 항목에 가격을 책정하며, 잘못된 계층을 디버깅하게 됩니다. 예를 들어 토큰 수가 아닌 JSON 크기를 기준으로 라우팅하면 긴 컨텍스트 요청으로 인해 모델에 과부하가 걸릴 수 있습니다.

인프라가 토큰을 기준으로 동작하게 하려면 그 방법을 알려줘야 합니다. 게이트웨이에 토크나이저를 배치하거나 모델 서버가 내보내는 토큰 수를 활용하세요. 그렇지 않으면 라우터는 토큰이 아닌 텍스트만 인식하므로 텍스트 수준에서 결정을 내리는 반면, 비용은 토큰 단위로 누적됩니다. 정확한 토큰 수를 산출하려면 토크나이저가 해당 모델의 토크나이저와 일치해야 합니다(예: GPT-4의 토크나이저는 LLaMA의 토크나이저와 다름). 토크나이저가 일치하지 않으면 비용이나 한도가 잘못 계산될 수 있습니다.

가용성을 단순히 서비스가 실행 중인 상태가 아니라, 실제로 사용할 수 있고 올바르게 작동하는 상태로 간주하세요. 과거에 초당 쿼리 수와 캐시 적중률을 추적했던 것처럼 초당 토큰 수, 첫 토큰 생성까지 걸리는 시간, 컨텍스트 오류(예: 컨텍스트 창 한도 초과 또는 컨텍스트 포화로 인한 일관성 없는 출력)를 추적하세요. 로그를 철저히 관리하세요. 명시적으로 지정하지 않는 한 추론 트래픽은 학습 데이터가 아닙니다. 프롬프트와 출력을 보관한다면 안전하게 보호하세요.

용어를 정확히 사용하세요. 올바른 계층을 측정하세요. 비용 초과를 방지하기 위해 게이트웨이에 토큰 기반 할당량을 설정하는 등, 실질적으로 필요한 곳에 제한을 두세요. 그렇게 하면 추론도 나머지 스택처럼 예측 가능하고 경제적이며, 가장 바람직한 의미에서 별다른 문제 없이 안정적으로 작동합니다. 토큰은 네트워크 대역폭이 아니라 모델 내부의 의사결정에 쓰입니다. 대상을 정확한 이름으로 부르면 사용자는 만족하고 청구 금액은 줄어듭니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물