추론의 영향력: API, DPU, 그리고 컨텍스트의 혼돈

업계 동향 | 2025년 11월 13일

우리는 계속해서 모델을 그저 엔드포인트인 것처럼 여깁니다. 입력을 이해할 수 없는 일련의 숫자로 인코딩하는 엔진을 호스팅하는 서버는 존재하지 않는다는 듯이 말이죠.

아, 여러분, 그런 서버는 분명히 존재하며 애플리케이션 제공에서 웹 서버와 애플리케이션 서버가 해온 역할만큼이나 중요해질 것입니다. 또한 다시 한번 인프라 아키텍처를 새롭게 구상하도록 만들 것입니다.

모델을 엔드포인트 뒤에 배치하는 순간(즉, 추론 서버를 배포하는 순간), 그 모델은 비즈니스를 운영하는 동일한 레이어 4~레이어 7(L4~L7) 네트워크에 진입하게 됩니다. 당사의 최신 연구에 따르면, 조직의 80%가 이미 클라우드 또는 온프레미스에서 추론을 실행하고 있습니다. 이는 이제 모델이 로드 밸런서, 게이트웨이, WAF, API 브로커를 거치는 또 하나의 프로덕션 워크로드가 되었다는 의미입니다.

또한 우리는 다소 불편할 수 있는 몇 가지 진실을 알게 되었습니다.

추론은 API를 증식시킨다

첫째, 추론 운영은 API를 늘립니다. 모델을 기반으로 구축된 새로운 어시스턴트, 스코어링 서비스, 기능 플래그는 모두 또 하나의 진입점이 됩니다. 그 결과 프롬프트 인젝션, 정보 유출, 출력 조작이 침투할 수 있는 지점이 늘어나고, 컨텍스트가 내부에서 이리저리 흘러다닐 수 있는 경로도 많아집니다. 추론을 배포하는 팀은 런타임 보안 위생이 더 나은 경향을 보이지만, 여전히 격차가 문제입니다. 추론을 운영하는 팀 중에서도 14%는 여전히 프롬프트를 검사하지 않고 통과시킵니다. SaaS만 사용하는 고객의 경우 이 수치는 40%로 치솟습니다. 검사를 생략하는 것은 ‘단순하게 유지하는 것’이 아닙니다. 헛간 문을 활짝 열어 둔 채 말이 뛰쳐나가는데도 심폐 지구력이 좋다며 칭찬하는 꼴입니다.

이 때문에 제어 지점이 중요합니다. 추론은 API와 동일한 경로를 통해 이루어지므로 정책도 해당 경로상에서 적용되어야 합니다. 추론을 배포하는 조직은 이를 잘 알고 있는 듯합니다. 61%는 입력 및 출력 검사를 위해 AI 게이트웨이를 사용하고, 39%는 방화벽을 추가하며, 35%는 맞춤형 프록시를 사용합니다. 반면 SaaS만 이용하는 조직은 공급업체의 기본 설정에 의존하며, 그 차이는 분명히 드러납니다. 이들은 테스트나 모니터링을 아예 생략할 가능성이 3배 더 높으며, 30%는 감사를 위해 프롬프트나 응답 결과를 기록하지 않습니다. 로깅을 생략하는 추론 배포 조직은 8%에 불과합니다. 이는 성숙도의 격차이지만 동시에 기회이기도 합니다. 애플리케이션에서 타사 AI를 사용한다면 AI 게이트웨이는 지속적인 테스트, 필터링, 정책 적용을 위한 접점이 됩니다. 정중한 프롬프트를 작성한 뒤 운에 맡기지 마십시오.

추론으로 인해 DPU의 중요성 증대

둘째, 추론으로 인해 DPU는 있으면 좋은 수준을 넘어 필수 요소가 되고 있습니다. 추론을 실행하는 팀 중 71%는 하드웨어를 구매하거나 인스턴스를 선택할 때 DPU를 고려하거나 도입합니다. 추론을 배포하지 않는 집단에서는 이 비율이 43%입니다. 애플리케이션을 구동하는 동일한 장비에서 암호화된 트래픽, 인라인 검사, 정책 평가까지 처리한다면, 오프로딩은 단순히 성능을 과시하기 위한 기술이 아닙니다. 대규모로 복호화, 분류, 검사, 정책 적용을 수행하면서도 지연 시간을 감당할 수 있는 수준으로 유지하는 방법입니다. DPU는 전송 계층 보안(TLS), 텔레메트리, 세분화된 정책, 요청별 검사 등 추론에 가장 필요한 작업을 가속합니다. 간단히 말해, 추론이 늘어날수록 네트워크에서 처리해야 할 작업도 많아지며, DPU가 그 부담을 떠맡습니다.

추론에는 컨텍스트에 대한 주의가 필요합니다

마지막으로, 컨텍스트는 대부분의 팀이 간과하는 또 하나의 핵심 축입니다. 추론은 단순히 입력과 출력만으로 이루어지지 않습니다. 여기에는 이력, 검색 결과, 도구, 에이전트 간 대화가 포함됩니다. 조직들이 모델 컨텍스트 프로토콜(MCP) 도입을 검토하면서 동일한 패턴이 이미 나타나고 있습니다. 배포 그룹의 58%가 MCP 도입 의향을 밝힌 반면, 비배포 그룹에서는 그 비율이 21%에 그쳐, 배포 그룹이 표준화를 추진하고 있음을 보여줍니다. MCP가 주목받는 이유는 분명합니다. MCP는 컨텍스트 흐름을 체계화할 수 있기 때문입니다.

위험성 또한 명백합니다. 불투명한 컨텍스트는 그럴듯하게 마련한 정책을 우회하는 사이드 채널이 될 수 있습니다. 따라서 프롬프트와 응답뿐 아니라 컨텍스트 자체의 출처와 정책까지 파악할 수 있는 검사가 필요합니다. 감사받지 않은 데이터를 트레이딩 엔진에 입력하지 않을 것이라면, 감사받지 않은 컨텍스트도 모델에 입력해서는 안 됩니다.

인프라 아키텍처에 미치는 영향

그렇다면 이 모든 것이 여러분의 아키텍처에 어떤 의미일까요? 분명 어떤 영향을 미친다는 것을 알고 계실 겁니다.

핵심 요점

경로에 정책을 적용하세요. 게이트웨이와 L7 프록시는 이미 트래픽 흐름에 포함되어 있습니다. 이를 추론 인식형으로 만드세요. 프롬프트를 검사하고, 출력을 필터링하고, 데이터에 태그를 지정하며, 모델에 실질적으로 중요한 앱별 및 사용자별 제한을 적용하세요.
DPU를 활용해 지연 시간의 마지노선을 지키십시오. 오프로딩 없이 런타임에 복호화, 분류, 검사, 정책 적용까지 하려 한다면, 금요일 밤에는 성능을 위해 보안을 희생하고 월요일에는 그것이 신중한 결정이었던 척하게 될 것입니다.
컨텍스트를 공급망처럼 다루세요. 컨텍스트의 구성 방식을 표준화하고, 레이블을 지정하며, 사용 전에 검증하고, 계보를 기록하세요. MCP는 도움이 되지만, 컨텍스트 악용을 탐지하고 차단할 수 있는 관찰 가능성 및 정책 집행 기능과 함께 사용할 때만 효과가 있습니다.

최근 연구에서 얻은 가장 중요한 결론은 바로 추론이 이제 최우선으로 다뤄야 할 워크로드라는 점입니다。추론은 다른 모든 것을 실행하는 동일한 파이프라인에서 작동하지만, 기존의 ‘API 대응 방식’만으로는 완전히 대처할 수 없는 새로운 위험을 초래합니다.

파이프라인을 더 스마트하게 만들고, 무거운 작업은 DPU로 옮기며, 호출뿐 아니라 컨텍스트까지 관리하세요. 이를 실천하는 팀은 더 빠르게 출시하고 더 편안하게 잠들 수 있을 것입니다. 그렇지 않은 팀은 혹독한 시행착오를 통해 회복탄력성을 배우게 될 것입니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물