AI의 컨텍스트 윈도우 관리는 마법이 아닙니다. 아키텍처입니다.

업계 동향 | 2025년 8월 27일

그러니 이 부분을 확실히 짚고 넘어가죠. AI 아키텍처에서 컨텍스트(세션)가 어디에 존재하는지 이해하는 것이 알고 보니 정말이지 무척 중요하거든요. 제가 블로그에서 ‘정말이지’라는 표현까지 썼으니 얼마나 중요한지 아시겠죠. 네, 진심입니다.

자체 LLM 기반 앱을 개발하면서 OpenAI API를 사용하고 있다면, 여러분은 ChatGPT를 사용하는 것이 아닙니다. 여러분은 모델과 직접 대화하고 있는 겁니다. 아무것도 덧붙지 않은 원시 모델 말이죠. 단지 GPT-4를 호출한다는 이유만으로 앱이 ChatGPT처럼 작동할 거라고 생각한다면, 이미 방향을 잘못 잡은 겁니다.

ChatGPT는 모델이 아니라 런타임입니다.

사람들은 이 점을 늘 잘못 이해하는데, OpenAI의 브랜딩도 혼란을 줄이는 데 별 도움이 되지 않았습니다. 기억, 말투, 맥락, 여섯 번 전에 한 말을 자연스럽게 기억하면서 갑자기 해양식물학 박사 학위를 지어내지 않는 방식까지 아우르는 ‘ChatGPT’ 경험은 마법이 아닙니다. 아키텍처입니다. 그리고 API를 호출한다고 해서 그 아키텍처가 저절로 따라오는 것은 아닙니다.

The ChatGPT 앱은 여러 계층으로 구성된 관리형 환경입니다. 다음 요소들을 하나로 결합합니다:

프롬프트 엔지니어링
컨텍스트 관리
영구 메모리
Guardrails 및 대체 방안
요약, 잘라내기 및 제어 로직

API에서는 기본적으로 그 어떤 것도 제공되지 않습니다. 하나도요.

When you call GPT-4(또는 다른 어떤 모델이든) 직접 호출하면, 상태를 유지하지 않는 형식으로 가공되지 않은 메시지 시퀀스를 입력하면서 그 과정에서 컨텍스트 창이 넘치거나 조각나지 않기만을 바라게 됩니다. 이는 아무것도 설정되지 않은 모델이지, 디지털 집사가 아닙니다.

컨텍스트 창 관리는 여러분의 몫입니다.

ChatGPT에서는 추론 서버가 전체 컨텍스트 창을 관리합니다. 사용자가 입력하면 내용을 기억하고(기억하지 못할 때까지), 앱이 관련 정보를 대부분 알아서 추적해 준다고 믿을 수 있습니다. 그 위에는 메모리 시스템이 추가로 적용되어 있으며, OpenAI는 어떤 정보를 다시 전달할지 조용히 선별합니다.

API를 사용한다면? 여러분이 바로 추론 서버입니다. 즉, 다음을 의미합니다:

메시지 스택은 사용자가 직접 구성합니다.
무엇을 포함할지는 여러분이 결정합니다.
토큰 예산은 사용자가 관리합니다.
콘텐츠를 잘라내거나 요약하다 보면 일관성을 잃게 됩니다.

그리고 이를 잘못 처리하면(처음에는 누구나 실수하기 마련입니다), 세션 도중 모델이 사용자의 이름을 잊어버리거나 입력하지도 않은 데이터를 지어내기 시작하는 상황에 대한 책임은 여러분에게 있습니다.

메모리는 기능이 아닙니다. 인프라입니다.

ChatGPT에는 메모리가 있습니다. 하지만 여러분에게는 없습니다. 직접 구축하지 않는 한 말이죠. API는 상태를 유지하지 않으므로, 모든 컨텍스트와 메모리, 흐름을 직접 관리해야 합니다. 반면 ChatGPT 앱을 사용하면 OpenAI가 이 모든 것을 대신 처리합니다. 앱에 기본으로 내장되어 있습니다.

ChatGPT의 ‘메모리’는 단순히 프롬프트에 메모를 덧붙이는 기능이 아닙니다. 여러 세션에 걸쳐 사용자의 정보, 선호도, 목표, 제약 조건을 저장하고, 적절한 시점에 맥락에 맞게 프롬프트에 주입하는 시스템입니다. 앱에 이와 같은 기능을 구현하려면 다음이 필요합니다:

데이터 저장소
메모리 항목의 스키마
무엇을 언제 포함할지 결정하는 제어 로직
토큰 수가 불필요하게 늘어나지 않도록 하는 방법

다시 말해, 인프라입니다.

이것이 바로 자체 개발한 AI 앱 대부분이 불안정하게 느껴지는 이유입니다. LLM을 시스템의 도구가 아니라 챗봇처럼 다루기 때문입니다. 그 결과는 어떨까요? 대화의 맥락이 끊기고, 같은 프롬프트를 반복하며, 이상한 퇴행 현상이 발생하고, 사용자는 불편을 겪게 됩니다.

그래서 어쩌라고?

API를 기반으로 구축하고 있다면, 의도했든 아니든 인프라를 구축하고 있는 것입니다. 그리고 사용자가 ChatGPT와 같은 경험을 기대한다면, 다음을 제공해야 합니다:

영구 메모리
스마트 컨텍스트 압축
턴 기반 상태 관리
Guardrails, 폴백 및 인젝션 로직

하지만 이건 시작에 불과합니다. 엔터프라이즈급 앱 딜리버리 스택을 기반으로 구축하고 있다면—당연히 그러고 있겠죠? 그렇죠?—플랫폼의 나머지 부분도 제 역할을 제대로 해줘야 합니다.

바로 이 지점에서 애플리케이션 딜리버리 및 보안 팀의 역할이 중요해집니다.

앱 전송: 이제 단순히 HTML이나 JSON만 제공하는 것이 아닙니다

AI 네이티브 앱은 상태를 유지하고, 채팅을 중심으로 작동하며, 실시간으로 동작하는 경우가 많습니다. 즉, 다음과 같은 의미입니다:

세션 어피니티가 다시 중요해졌습니다. 2009년처럼 세션 토큰을 관리하지 않는 한, 대화 상태를 여러 무상태 백엔드에 분산할 수 없습니다.
지연 시간은 사용자 경험에 치명적입니다. 정적 페이지를 제공하는 것이 아니라 여러 차례 이어지는 상호작용을 스트리밍하고 있습니다. 로드 밸런서와 엣지 로직은 지연 시간이 짧은 대화 흐름을 우선 처리할 수 있어야 합니다.
토큰 비용 = 대역폭 + 컴퓨팅 자원 + 현금. 이제는 효율적인 전송이 중요합니다. 페이로드 크기는 단순히 네트워크만의 문제가 아니라 비용이 청구되는 사안입니다.

이건 단순한 홍보용 사이트가 아닙니다. 끊임없이 변화하는 인터페이스입니다. 앞단에 CDN 하나 붙여 놓고 끝낼 수 있는 일이 아닙니다.

보안: 프롬프트를 직접 관리하지 않으면 위험은 고스란히 당신의 몫입니다

LLM은 프롬프트를 통해 프로그래밍할 수 있습니다. 즉, 이제 프롬프트가 공격 표면이 됩니다.

인젝션 공격은 실제로 존재하며, 이미 발생하고 있습니다. 입력값 검증이 허술하면 사용자가 즉석에서 AI를 재프로그래밍하도록 허용하는 셈입니다.
프롬프트 조작은 민감한 메모리를 유출하거나, 워크플로를 방해하거나, 의도를 위장할 수 있습니다.
모델 출력을 정책 적용 및 관찰 가능성으로 보호하지 않으면 외부로 유출되거나 조작되거나 오염될 수 있습니다.

보안 통제도 진화해야 합니다:

You need AI 트래픽을 이해하는 WAF가 필요합니다잘못된 JSON을 차단하는 것만으로는 충분하지 않습니다. 페이로드 구조뿐 아니라 명령어 집합에도 보호 장치가 필요합니다.
특히 규제 환경에서는 LLM 의사결정에 대한 감사 추적 기록이 필요합니다.
API 호출뿐만 아니라 프롬프트 복잡성과 비용 급증에 대해서도 요청 속도 제한 및 악용 방지가 필요합니다.

게다가 사용자 레코드를 컨텍스트 윈도우에 삽입할 때 발생하는 데이터 거버넌스의 악몽은 아직 언급조차 하지 않았습니다.

에이전트형 AI가 통제 불능 상태가 되기 전에 지금 올바른 기술 스택을 구축하세요.

기본적으로 ChatGPT는 완성도 높은 제품이고, OpenAI API는 가공되지 않은 도구입니다. 둘을 혼동하면 기술 스택이 터져 버릴 겁니다.

현명하게 구축하세요. 급성장하는 AI 포트폴리오를 지원할 엔터프라이즈급 애플리케이션 제공 및 보안 스택을 구축하세요. 장담하건대, AI 에이전트를 구축하기 시작하고 뒤이어 적극적으로 에이전틱 아키텍처를 도입하게 되면. 이는 훨씬 더 중요해질 것입니다. 컨텍스트 드리프트와 환각이 최종 사용자 중심 AI 애플리케이션에서 문제라고 생각한다면, 에이전틱 AI가 비즈니스 및 운영용 AI 애플리케이션에 어떤 영향을 미칠 수 있는지 직접 확인할 때까지 기다려 보세요.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물