세션은 고정되고, 컨텍스트는 달라붙는다: 추론이 대화를 유지하기 위해 쓰는 편법

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

수십 년 동안 분산 시스템은 무상태성의 우아함을 설계 원칙이자 확장 전략으로 삼아 왔습니다. 이는 각 요청이 이전 요청과 무관하게 도착하고, 독립적으로 처리되며, 아무런 흔적도 남기지 않는 깔끔한 추상화입니다. 무상태 시스템은 기억하지 않으며, 그 망각을 통해 자유를 얻습니다. 조정 없이 수평으로 확장할 자유, 별다른 여파 없이 장애를 겪을 자유, 상태를 기억하는 데 따르는 운영 부담으로부터의 자유입니다. 이는 훌륭한 모델이었고, 일부 애플리케이션에서는 제 역할을 충실히 해냈습니다.

하지만 AI 시스템은 이러한 허상을 드러냅니다.

오늘날 우리가 ‘무상태 추론’이라고 부르는 것은 구현상으로만 무상태일 뿐, 기능적으로는 그렇지 않습니다. 상태가 사라진 것이 아니라 단지 다른 곳으로 옮겨졌기 때문입니다. 대화와 추론, 의미는 이전 맥락에 의존하므로 그 맥락은 어딘가에 지속적으로 보존되어야 합니다. 현재 우리는 이 맥락을 토큰에 담아 모든 요청에 포함하고, 시스템이 응답할 때마다 전체 대화를 처음부터 다시 읽는 것처럼 반복해서 재생하며 매 차례 재구성합니다. 아키텍처는 무상태를 표방하지만, 실제 운영에서는 상태가 어디에나 존재하는 것처럼 작동합니다. 실제로 상태가 어디에나 존재하기 때문입니다.

맥락은 완곡한 이름을 벗겨내고 보면, 그저 움직이는 상태일 뿐이다.

모든 요청에는 과거 기록이 따라붙으며, 대화가 길어질수록 그 기록의 무게도 커집니다. 페이로드 크기가 늘어나고 네트워크 전송량이 증가하며 추론 지연 시간이 길어지는 데다, 모델이 이미 본 정보를 분석하는 데 연산 자원이 반복해서 소모됩니다. 더 큰 컨텍스트 창과 더 빠른 하드웨어는 그 여파를 늦추고, KV 캐싱이나 프롬프트 압축 같은 영리한 엔지니어링 기법은 부담을 완화하지만, 그 어느 것도 메모리를 유지하는 대신 되풀이해서 불러오는 근본적인 비효율을 없애지는 못합니다. 이 시스템은 설계에 따라 기억하는 것이 아니라 반복을 통해 기억하며, 반복에는 언제나 대가가 따릅니다.

일관된 대화를 유지하는 데 드는 비용

이 비용은 먼저 대역폭, 그다음 컴퓨팅 자원, 마지막으로 지연 시간의 형태로 나타나며, 눈에 잘 띄지는 않지만 지속적인 확장 압력으로 작용합니다. 과거에는 호출 간에 아무것도 보존할 필요가 없어 무상태성이 확장을 단순화했지만, AI 워크로드에서는 연속성을 유지하는 것이야말로 유용성의 핵심이므로 이러한 이점이 오히려 뒤집힙니다. 과거를 잊는 시스템은 추론을 지속할 수도, 대화의 일관성을 유지할 수도, 세션 내에서 이전 지식을 바탕으로 발전할 수도 없습니다. 실제로 우리는 무상태 인프라 위에 상태 유지형 동작을 구축해 왔으며, 이제 그 부담이 드러나기 시작하고 있습니다.

예상 가능한 대응책은 세션 어피니티입니다.

컨텍스트를 유지해야 한다면 마지막으로 사용된 위치 가까이에 두는 편이 더 효율적입니다. 이렇게 하면 캐시된 표현을 재사용할 수 있고, 대화 기록을 반복해서 전송하고 재구성하는 일을 피할 수 있습니다. 상태를 옮기는 데 드는 비용이 커지기 때문에 세션은 철학적 선택이 아니라 운영상의 필요에 따라 ‘고정’됩니다. 지연 시간은 줄고 컴퓨팅 자원 낭비는 감소하며, 메모리가 성능을 좌우하는 명시적 의존 요소가 되면서 무상태라는 환상은 더욱 약해집니다.

하지만 고정 세션에도 나름의 마찰이 따른다. 부하 분산의 유연성이 떨어지고 장애 조치가 더 복잡해지며, 분산 환경에서의 이동성은 메모리가 위치한 곳에 제약을 받는다. 무상태의 자유를 전제로 구축된 시스템은 어느새 상태가 지닌 중력과 타협해야 하는 상황에 놓인다. 이에 대한 자연스러운 대응책은 상태를 외부화하는 것이다. 즉, 세션 메모리를 공유 저장소나 검색 시스템 또는 컨텍스트 데이터베이스에 두어, 어떤 추론 노드든 전체 대화 기록을 다시 재생하지 않고도 대화를 이어갈 수 있게 하는 방식이다. 이렇게 하면 라우팅 유연성과 수평적 확장성을 회복할 수 있지만, 동시에 메모리는 데이터와 동일한 수준의 엄격함으로 관리해야 하는 아키텍처 구성 요소로 바뀐다. 컨텍스트가 단순히 프롬프트 안에 포함되어 있을 때와 달리, 이제는 일관성, 순서, 무결성, 보안이 중요해진다.

이 지점에서 최적화를 넘어 설계 철학에까지 이르는 더 근본적인 질문이 떠오른다. 과연 전체 대화 내용을 계속 유지해야 할까?

우리는 선택적 상태를 향해 진화하고 있습니다

현재의 접근 방식은 컨텍스트를 계속 늘어나는 대화 기록, 즉 토큰 전체가 반복 재생되는 연속적인 흐름으로 취급합니다. 하지만 기계는 인간의 대화 능력이 지닌 한계에 얽매이지 않습니다. 이미 원시 기록을 요약으로 대체하고, 반복 대신 검색을 활용하며, 구조화된 메모리를 통해 지속적으로 보존할 지식과 일시적인 대화를 구분하는 선택적 기억으로의 초기 전환이 나타나고 있습니다. 시스템은 과거 전체를 계속 끌고 가는 대신 여전히 관련성이 있는 정보만 보존하기 시작하며, 즉각적인 컨텍스트와 정제된 요약, 영구적인 지식이 각각 고유한 역할을 수행하는 계층형 메모리를 구축합니다. 아키텍처는 모든 것을 기억하는 방식에서 지능적으로 기억하는 방식으로 전환됩니다.

이것이 바로 지금 진행 중인 진정한 전환입니다.

업계는 컴퓨팅 자원이 부족하고 메모리는 부담 없이 폐기할 수 있었기 때문에 상태 비저장 컴퓨팅에서 출발했습니다. AI는 이러한 관계를 뒤집어 컨텍스트와 연속성을 아키텍처의 핵심 고려 사항으로 끌어올립니다. 상태는 실제로 사라진 적이 없습니다. 단지 상태 비저장 설계 안에서 전달되고, 재현되고, 위장되어 왔을 뿐입니다. AI 시스템이 성숙해질수록 이러한 위장은 사라지고, 아키텍처는 컨텍스트를 끊임없이 전달하는 방식에서 벗어나 의도적으로 메모리를 관리하는 방향으로 발전할 것입니다.

연속성에는 가치가 있기에 세션은 계속 특정 인스턴스에 고정될 것입니다. 의미는 기억에 의존하기에 컨텍스트는 계속 쉽게 떨어지지 않을 것입니다. 무상태라는 허구는 계속 무너지고, 무엇을 기억하고 어디에 보관하며 언제 해제해야 하는지를 명확히 이해하는 시스템이 그 자리를 대신할 것입니다. 확장 가능한 AI의 미래는 상태를 어디에나 짊어지고 다니는 시스템이 아니라, 이를 현명하게 관리하는 시스템의 것이기 때문입니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물