패킷에서 프롬프트까지: 추론이 스택에 새로운 계층을 더하다

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

애플리케이션 아키텍처에 큰 변화가 일어날 때마다 네트워크도 이에 적응해야 합니다. 이는 새롭거나 혁명적인 발상이 아닙니다. 우리는 이전에도 이런 일을 반복해서 목격했습니다. 그리고 매번 같은 양상이 나타났습니다. 새로운 유형의 애플리케이션이 주류로 부상하면, 기존 스택으로는 제공할 수 없는 기능을 해당 애플리케이션이 요구하기 때문에 ‘네트워크’도 이를 지원하도록 변화했습니다. 바로 지금 AI 추론에서도 이와 같은 압력이 나타나고 있습니다.

추론은 학습이 아닙니다. 실험도 아니고, 데이터 과학 작업도 아닙니다. 추론은 프로덕션 환경에서의 런타임 동작이며, 애플리케이션 계층처럼 작동합니다. 여기에는 사용자, 트래픽 패턴, 지연 시간 민감도, 장애 유형, 비용 제약, 보안 위험이 존재합니다. 추론을 백엔드 서비스나 특수한 워크로드로 취급하면 실제로 일어나고 있는 변화의 본질을 놓치게 됩니다.

추론은 새로운 유형의 애플리케이션입니다.

당사의 연례 연구는 이러한 현실을 분명히 보여줍니다. 거의 80%의 조직이 자체적으로 추론을 운영하고 있습니다. 오직 소수의 조직만이 퍼블릭 AI 서비스에 전적으로 의존합니다. 대부분의 조직은 여러 클라우드에 걸쳐 기존 애플리케이션 및 API와 함께 자체 환경 내에서 추론을 실행하고 있습니다. 이들은 이미 추론 시점에 라우팅, 가용성, 성능 및 보안 문제를 해결하고 있습니다.

바로 이것이 핵심입니다. 문제는 추론 중에 발생합니다. 그 이전도 이후도 아니며, 훈련 중은 더더욱 아닙니다.

여기서는 기존의 전송 기법만으로는 충분하지 않습니다. 부하 분산은 백엔드가 서로 대체 가능하다고 가정합니다. 상태 확인은 가용 여부가 이분법적으로 결정된다고 가정합니다. 정적 트래픽 라우팅은 동작을 예측할 수 있다고 가정합니다. 하지만 프롬프트, 토큰, 모델 동작에 따라 요청의 비용, 품질, 지연 시간, 위험이 달라지는 상황에서는 이러한 가정이 어느 것도 성립하지 않습니다.

그러므로, 고로, 따라서 ‘네트워크’는 다시 한번 변화해야 합니다.

새로운 네트워크 스택

수십 년 동안 네트워크 스택은 패킷과 프로토콜을 중심으로 설명되어 왔습니다. 계층 2와 3은 패킷을 처리했고, 계층 4부터 7까지는 세션, 프로토콜, 애플리케이션을 처리했습니다. 이러한 관점이 유효했던 이유는 애플리케이션이 프로토콜을 통해 의도와 목적을 표현했기 때문입니다. 하지만 추론은 그렇지 않습니다.

추론은 프롬프트를 통해 의도와 목적을 표현합니다.

그렇기 때문에 우리는 지금 새로운 지배적 계층의 등장을 목격하고 있습니다. 바로 8계층, 프롬프트 계층입니다.

잠깐만요, 로리, 이런 생각이 드실 수도 있습니다. 우리는 오래전부터 페이로드의 일부를 기준으로 라우팅해 왔는데, 이번에는 무엇이 그렇게 다른 걸까요?

물어봐 주셔서 감사합니다!

그 차이는 사실 상당히 본질적입니다. 특히 추론에서는 URI가 ‘함수’에 매핑되지 않으며, 호출되는 대상이 무엇인지를 파악하려면…프롬프트에서 의도를 추출해야 한다는 점을 고려하면 더욱 그렇습니다. 이것이 바로 페이로드 기반 트래픽 스티어링이 새로운 계층의 수준으로 올라서지 못한 근본적인 이유입니다. 판도를 근본적으로 바꾸지는 못했기 때문입니다. 추론은 어떨까요? 추론은 판도를 바꾸는 데 그치지 않고, 수시로 규칙 자체를 다시 씁니다.

이제 중요한 점은 ‘프롬프트 계층’에서 라우팅 결정이 더 이상 IP, 포트, URI 또는 페이로드의 일부만을 기반으로 이루어지지 않는다는 것입니다. 라우팅 결정은 누가 요청하는지, 무엇을 요청하는지, 비용이 얼마나 드는지, 위험성이 얼마나 큰지, 그리고 어느 정도의 결과 품질이 요구되는지를 기반으로 이루어집니다. 최신 연구에 따르면, 출력 조정 및 토큰 제어와 더불어 스택의 이 계층은 애플리케이션 전송과 보안이 가장 큰 영향을 미치는 계층으로 확인되었습니다. 여기에 모델 라우팅(역시 8계층)을 더하면, 대다수 조직이 AI 추론을 안전하게 보호하고 확장하는 데 이 계층이 얼마나 중요한지 이미 인식하고 있다는 것을 알 수 있습니다.

프롬프트 검사, 토큰 제어, 출력 조정, 모델 라우팅은 선택 기능이 아닙니다. 프로덕션 환경에서 추론을 운영하기 위한 필수 요건입니다.

걱정할 필요는 없습니다. L4-7이 스택의 최상위 계층이 되었을 때 L2-3이 사라지지 않았듯이, 그 아래 계층들도 사라지지 않습니다. 단지 기반 계층이 될 뿐입니다. 패킷 라우팅은 여전히 중요합니다. 프로토콜 처리도 여전히 중요합니다.

하지만 분명한 것은, 이제 가치는 8계층에 있다는 점입니다.

추론에 대한 반응이 이러한 변화를 확인해 준다

패킷 전송을 위해 구축된 네트워크가 애플리케이션을 지원하지 못하면서 애플리케이션 전송 컨트롤러가 등장했습니다. 웹 애플리케이션을 위해 구축된 네트워크가 API를 지원하지 못하면서 API 게이트웨이가 등장했습니다. 이제 API를 위해 구축된 네트워크가 자율적이고 확률적이며 비용이 가변적인 애플리케이션을 지원하지 못하면서 추론 지원이 부상하고 있습니다.

시장의 반응은 이러한 변화를 뒷받침합니다. 모델 라우팅, 추론 게이트웨이, 토큰 거버넌스, 프롬프트 제어를 중심으로 스타트업들이 생겨나고 있습니다. 하이퍼스케일러들도 내부적으로 동일한 기능을 조용히 구축하고 있습니다.

기업들의 대응은 이러한 변화를 뒷받침합니다. 조직의 90%가 추론 서비스를 사용하고 있으며, 그중 70%는 자체 운영 서비스를 포함해 두 가지 이상의 서로 다른 추론 서비스를 이용하고 있습니다. 이들은 멀티 모델 전략을 구현하고, 에이전틱 AI를 실험하며, 운영에 AI 기반 자동화를 도입하고 있습니다.

이는 과장이 아닙니다. 구조적인 변화입니다.

추론은 단순히 또 하나의 워크로드가 아닙니다. 패킷과 프로토콜에 계속 얽매인 아키텍처도 작동은 하겠지만, 효율적으로 확장되지는 못할 것입니다. API 수준에 머무르는 네트워크 스택으로는 자율 시스템을 제어하기 어려울 것입니다.

추론은 제어 지점을 스택의 상위 계층으로 끌어올렸습니다. 나머지는 필연적입니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물