효율성의 함정: 토큰, TOON, 그리고 진정한 가용성 문제

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

오늘날 초고효율 추론, 토큰 압축, 정교한 인코딩 방식이 각광받으면서, 가용성도 자연스럽게 따라올 것이라 여기고 성능과 비용만 좇기 쉽습니다. 하지만 그렇지 않습니다. 벤치마크 슬라이드에서 인코딩이 아무리 기발해 보여도 가용성에는 아무런 의미가 없습니다.

최근 토큰 효율성 트렌드가 소셜 미디어를 뜨겁게 달구면서 토큰 지향 객체 표기법(TOON), 즉 토큰 수를 기준으로 비용이 책정되기 때문에 추론에 사용되는 토큰을 줄이도록 설계된 형식이 큰 관심을 받았습니다. 그러자 패러디가 등장했고, 이것들이 진지한 혁신으로 받아들여져 ‘JSON의 종말’이라는 말과 함께 퍼져 나갔습니다. 이는 풍자가 텍스트로는 제대로 전달되지 않으며, 과장된 열풍은 언제나 미묘한 맥락보다 앞서 나간다는 사실을 다시 한번 보여주었습니다.

여기서 진짜 중요한 것은 포맷 전쟁이 아닙니다. 핵심은 우리가 수십 년간 씨름해 온 동일한 운영상의 과제, 즉 성능·가용성·안정성과 비용 사이의 균형을 맞추는 일입니다. 직접 비용은 컴퓨팅과 네트워크 사용량으로 측정됩니다. 간접 비용은 사용자 신뢰 저하, 브랜드 이미지 훼손, 운영자의 업무 부담, 고객 이탈로 나타납니다. 연휴 기간을 대비해 용량 계획을 세워 본 사람이라면 이러한 균형 조정이 새로운 문제가 아니라는 사실을 잘 알고 있습니다.

하지만 AI 추론에서는 이제 가용성에 정확성도 포함됩니다. 빠르게 답변을 내놓더라도 그 답변이 부정확하다면 해당 시스템은 ‘가용한’ 것이 아니라 오작동하는 것입니다. 새벽 3시에 미지근한 커피를 손에 든 채 자신의 진로 선택을 되돌아보며 변경 사항을 롤백해 본 운영자라면 누구나 공감할 것입니다.

모두에게 맞는 단 하나의 해법은 없습니다

그렇기 때문에 다른 압축 기술과 마찬가지로 TOON도 낭만적이 아닌 현실적인 관점에서 바라봐야 합니다. HTTP 압축은 텍스트 기반 콘텐츠에는 매우 효과적이었지만, 기본적으로 이미 압축되어 있는 JPG 같은 이미지에는 아무런 효과가 없었다는 점을 기억하는 분도 있을 것입니다. 오늘날에도 이러한 구분은 여전히 유효합니다. 구조화된 데이터는 명령어가 아닙니다.

TOON은 구조화된 데이터를 최적화하도록 설계되었으며, 검색 정확도를 소폭 높이면서 토큰을 크게 절감할 수 있다고 주장합니다. 일부에게는 유용할 수 있습니다. 하지만 구조가 전부는 아닙니다. 추론 및 에이전트 기반 시스템은 데이터베이스 레코드와 API 응답만 다루는 것이 아닙니다. 이러한 시스템은 지시, 의도, 추론 경로도 다룹니다. 데이터에서 토큰을 절약하는 것과 의사결정을 개선하는 것은 별개의 문제입니다.

에이전트에게 전달하는 간단한 JSON 명령을 예로 들어 보겠습니다:

{
"action": "create_ticket",
"priority": "high",
"summary": "사용자가 자신의 계정에 액세스할 수 없음",
"user_id": 84713
}

TOON에서는 다음과 같이 압축됩니다:

action: create_ticket
priority: high
summary: 사용자가 자신의 계정에 액세스할 수 없음
user_id: 84713

깔끔하고 간결합니다. 하지만 안타깝게도 장점은 여기까지입니다. 에이전트는 여전히 문맥상 action이 무엇을 의미하는지 해석해야 합니다. “티켓 생성”에 확인, 위치 지정, 담당자 배정, 분류, 라우팅 또는 연계가 필요한가요? TOON은 공간을 절약하지만 추론의 명확성을 높여 주지는 않습니다.

A 2025년 arXiv 논문(2510.14453)에서는 다른 접근법으로 자연어 형식의 도구 출력을 제안합니다. 연구 결과, 토큰 수를 30% 이상 줄이면서 정확도는 18% 넘게 향상되었습니다. 그 이유는 무엇일까요? 모델은 맞춤형 소형 데이터 언어가 아니라 주로 자연어로 학습되기 때문입니다.

이들의 접근 방식을 사용하면 다음과 같이 전송합니다:

사용자 84713에 대한 우선순위가 높은 지원 티켓을 생성하세요. 문제 내용: 사용자가 자신의 계정에 액세스할 수 없습니다.

JSON보다 토큰 수가 적고, TOON보다 명확하며, 모델이 이미 사고하는 방식과도 잘 맞습니다. 이는 자유 형식의 창작 글쓰기가 아닙니다. 템플릿의 제약 안에서 자연어로 표현한 지시문입니다. 토큰 수가 적다는 이점에 더해 조작을 더 쉽게 탐지할 수 있어, 의도치 않은 보안상의 이점도 있습니다.

교훈은 간단합니다. 모든 입력이 똑같은 것은 아니며, 하나의 형식으로 모든 사용 사례를 충족할 수는 없습니다. TOON과 같은 압축 형식은 대규모의 구조화된 데이터 세트를 전달할 때 빛을 발할 수 있습니다. 추론 모델에 지시를 내릴 때는 자연어 템플릿이 더 유리할 수 있습니다. 하나의 솔루션이 모든 상황에 적합하다고 착각하는 순간 장애가 발생합니다.

토큰 수는 중요하지만 최상위 성공 지표는 아닙니다

토큰 수는 AI의 최상위 성공 지표가 아닙니다. 이는 성능, 신뢰성, 가용성을 아우르는 여러 변수 간의 절충에서 고려해야 할 하나의 변수일 뿐입니다. 이제는 비용도 점점 더 중요하게 고려해야 합니다. 한 가지를 최적화하더라도 전체 시스템은 개선되지 않을 수 있으며, 때로는 오히려 악화될 수도 있습니다. 역사적으로 엔지니어들은 가장 중요한 결과보다 가장 눈에 띄는 지표를 좇는 경우가 많았습니다.

추론 서비스를 제공하려면 운영과 비즈니스라는 두 축 사이에서 균형을 맞춰야 합니다:

• 성능: 시스템이 얼마나 빠르게 응답하는지
• 가용성: 올바르게 응답하는지 여부
• 신뢰성: 일관되게 응답하는지 여부
• 비용: 비즈니스가 대규모로 운영해도 이를 감당할 수 있는지 여부

토큰은 줄이되 명확성은 유지하세요. 추론을 희생하지 않으면서 속도를 높이세요. 재시도, 에스컬레이션 또는 수동 검토로 비용을 전가하는 방식이 아니라 비용 자체를 최적화하세요.

업계는 거의 확실히 상황에 따라 여러 형식을 활용하는 방향으로 정착할 것입니다. 구조화된 데이터에는 TOON, 지시에는 자연어 템플릿, 호환성에는 JSON을 사용하고, 특수한 워크로드에는 다른 형식도 활용하게 될 가능성이 큽니다.

아직은 초기 단계이며, 최종 승리를 선언하는 사람은 엔지니어링이 아니라 관심을 좇고 있는 것입니다. 목표는 가장 작거나 최신인 형식을 선택하는 것이 아닙니다. 신뢰할 수 있는 결과를 제공하는 형식을 선택하는 것이 목표입니다.

비용 절감으로 신뢰가 떨어진다면 시스템을 개선하는 것이 아니라, 실패를 그저 다음 단계로 떠넘기는 것일 뿐입니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물