F5 AI Gateway: 모든 엔터프라이즈 AI를 위한 단일 제어 지점

Nirav Shah제품 및 솔루션 마케팅 담당 수석 부사장 | F5

모든 기업이 AI 도입에 속도를 내고 있지만, 이를 어떻게 관리해야 할지 파악한 곳은 거의 없습니다. 한 유명 글로벌 기술 기업은 2026년 AI 예산 전액을 불과 4개월 만에 소진했습니다. 또 다른 기업은 직원 1인당 AI 지출을 주당 200달러로 제한해 예산을 통제하려 했습니다. 세계에서 기술적으로 가장 앞선 기업들조차 AI 지출을 통제하지 못한다면, 대부분의 기업에는 승산이 거의 없습니다.

McKinsey & Company에 따르면, 조직의 88%가 이미 AI를 사용하고 있지만, 대부분의 AI 트래픽은 비용 통제, 거버넌스, 감사 추적 체계 없이 타사의 대규모 언어 모델(LLM)로 곧바로 전송됩니다. 토큰 지출은 매년 10배씩 증가하는 한편, 개인 식별 정보(PII)는 기업이 소유하지 않은 모델로 유출되고 에이전트는 아무런 제한 없이 MCP 도구에 접근하고 있습니다.

이러한 문제를 해결하기 위해 F5는 오늘 차세대 F5 AI Gateway를 발표했습니다. 이는 모델, 에이전트, 도구, API 및 데이터가 어디에서 실행되든 모든 AI 상호작용을 제어하고 최적화하며 보호하는 단일 제어 영역입니다.

거버넌스 격차가 확대되고 있습니다

현재의 AI 거버넌스 환경은 애초부터 파편화되어 있습니다. 일부 공급업체는 광범위한 API 관리 플랫폼에 AI 기능을 덧붙이는 데 그쳐, AI 거버넌스에 특화되지 않고 성능도 떨어지는 제품을 제공합니다. 또 다른 공급업체들은 매끄러운 개발자 워크플로를 제공하지만, 규제 산업에서 요구하는 기업 수준의 신뢰성, 지원, 지속 가능성이 부족합니다.

그 결과는 예상대로입니다. 기업들은 맞춤형 프록시, 공급자별 SDK, 독립형 가드레일, 별도의 관측성 도구를 이어 붙이고 있으며, 이로 인해 취약한 파이프라인과 공급업체 난립이 발생하고 모델, 에이전트, 도구 전반에 적용할 통합 정책 모델도 부재한 상황입니다.

올해 초 F5는 기업이 AI 애플리케이션을 구동하는 모델과 데이터 소스부터 이를 연결하는 API와 에이전트에 이르기까지 AI 환경의 모든 계층을 통합적으로 보호할 수 있도록 F5 AI Security Platform을 출시했습니다. F5 AI Gateway는 거버넌스 격차를 해소하도록 특별히 설계되었으며, 이번 향상된 릴리스를 통해 AI Security Platform의 런타임 적용 지점으로 자리매김하여 플랫폼 수준의 정책을 모든 요청에 대한 실시간 의사 결정으로 전환합니다.

세 가지 핵심 기능, 하나의 제어 영역

F5 AI Gateway는 하나의 제어 플레인, 하나의 정책 모델, 하나의 콘솔에서 세 가지 핵심 기능을 통합하여 독립형 도구를 일일이 연동할 필요를 없애줍니다:

Model Gateway는 모든 LLM 상호작용을 관리하고 최적화합니다. 범용 엔드포인트는 공급자 관련 복잡성을 추상화하며, 스마트 라우팅은 요청을 작업에 가장 적합한 모델로 자동 전달하여 사소한 워크로드에 프리미엄 모델이 낭비되지 않도록 합니다. Model Registry는 플랫폼 및 개발 팀에 승인된 모델로 구성된 엄선된 카탈로그를 제공하여 어떤 모델이 허용되는지 추측할 필요를 없애고 AI 혁신을 가속화합니다.

시맨틱 및 정확 일치 캐싱, 공급자 장애 조치, 멀티클라우드 GPU 인식 라우팅을 통해 측정 가능한 성과를 달성할 수 있습니다. 애플리케이션을 변경하지 않고도 90일 이내에 토큰 비용을 30~60% 절감할 수 있습니다. 프롬프트 캐싱만으로도 토큰 경제성이 크게 달라집니다. AI Gateway는 의도와 의미가 유사한 프롬프트를 캐싱하여 중복 추론 호출을 제거하므로, 조직은 이전에 반복해서 비용을 지불하던 작업에 대해 한 번만 비용을 지불하면 됩니다.

급증하는 AI 청구 비용을 지켜보는 FinOps 리더에게 이는 로드맵상의 약속이 아니라 수치로 입증된 성과입니다. 또한 AI 지출을 전혀 파악하지 못하는 IT 운영 팀은 토큰 사용량 측정과 실시간 대시보드를 통해 모든 비용을 특정 사용자, 팀, 모델별로 추적하여 불투명했던 비용을 유용한 비용 인사이트로 전환할 수 있습니다.

MCP Gateway는 에이전틱 AI라는 새로운 영역을 관리합니다. 에이전트가 확산되면서 아무런 통제나 감사 추적 없이 MCP 서버와 도구에 대한 모든 접근 권한을 갖게 됩니다. MCP Gateway는 중앙 집중식 MCP 서버 레지스트리를 도입하여 팀이 공개, 원격 또는 비공개 여부와 관계없이 조직 전체의 모든 MCP 서버를 한눈에 파악할 수 있도록 합니다.

도구별 허용/차단 및 액세스 제어를 통해 에이전트는 명시적으로 사용 권한을 부여받은 도구에만 접근할 수 있습니다. 동시에 개발자는 공급자별 SDK를 연동하거나 대체 로직을 직접 관리하지 않고도 모델과 도구로 효율적인 고성능 라우팅을 구현할 수 있습니다. 도구별 예산과 할당량은 에이전트의 무분별한 AI 사용을 방지합니다. 도구별 제어가 없으면 에이전트의 토큰 사용 비용은 사실상 무제한으로 늘어날 수 있습니다. 단 하나의 자율 루프만으로도 아무도 알아차리기 전에 수천 달러 상당의 토큰이 소모될 수 있습니다.

F5 AI Guardrails는 모든 프롬프트와 응답에 20개 이상의 정책을 적용합니다. 여기에는 개인 식별 정보 및 개인 건강 정보의 삭제, 프롬프트 인젝션 및 탈옥 방어, 조직 및 규제 요건에 맞춘 사용자 지정 규칙이 포함됩니다. 페일 클로즈 방식의 정책 적용을 통해 안전하지 않은 상호작용이 모델이나 사용자에게 도달하기 전에 차단합니다. 전체 감사 추적, SOC2/ISO/HIPAA 준수, 보안 정보 및 이벤트 관리(SIEM) 내보내기, 데이터 레지던시 제어를 통해 모든 AI 상호작용을 입증할 수 있으므로, 팀은 규정 준수를 단순히 약속하는 데 그치지 않고 검증할 수 있습니다.

예산, 감사, 관측 가능성, 역할 기반 액세스 제어(RBAC)와 같은 공통 기능이 세 가지 기능 모두에 일관되게 적용됩니다. 제어 체계가 파편화되지 않으며, 뷰도 서로 단절되지 않습니다.

F5의 차세대 F5 AI Gateway는 세 가지 핵심 기능인 모델 게이트웨이, MCP 게이트웨이, F5 AI Guardrails를 하나의 솔루션으로 통합합니다.

앱, AI 및 API 제공과 보안을 위한 단일 플랫폼

이 분야의 대부분의 솔루션은 AI 거버넌스 과제의 일부만 해결합니다. F5 AI Gateway는 전체 과제를 해결하는 데 그치지 않고 한 단계 더 나아갑니다.

AI Gateway는 F5 Application Delivery and Security Platform의 일부이므로 조직은 단순히 AI 거버넌스만 확보하는 것이 아닙니다. 조직은 AI 거버넌스뿐만 아니라 계층 3 및 4부터 프롬프트 및 응답 보안까지 아우르는 심층 방어 아키텍처에서 L7 부하 분산, 봇 방어, API 보안, API 게이트웨이, WAF 및 DDoS 방어 기능도 확보할 수 있습니다.

또한 F5 AI Security Platform의 정책 적용 계층인 AI Gateway는 이러한 심층 방어를 AI 환경 자체로 확장합니다. 이를 통해 모델로 유입되는 데이터를 검사하고 보호하며, 에이전트와 도구 간 상호 작용을 승인하고 감사하고, 토큰 사용량을 추적해 최적화하며, 규정 준수를 위해 모든 작업을 기록합니다. AI Guardrails, WAF, API 보안, 봇 방어 및 DDoS 보호를 하나의 계층형 아키텍처로 통합하는 솔루션은 이외에 없습니다.

운영 효율화를 추진하는 CIO에게 이는 앱, AI 및 API의 제공과 보안을 아우르는 단일 플랫폼으로, 난립한 공급업체와 운영 복잡성을 한 번에 줄여 줍니다. 급증하는 AI 비용을 주시하는 CFO에게는 정량화된 성과로 입증 가능한 ROI를 제공하며, 예산 등급, 사용자별 지출 추적, 비용 청구가 위기로 번지기 전에 작동하는 임계값 알림을 통해 기업의 토큰 경제성을 예측 가능하게 관리할 수 있는 방안을 제시합니다.

확대되는 AI 위협 영역에 대응해야 하는 CISO에게는 인프라부터 프롬프트까지 아우르는 심층 방어 체계입니다. 보안 책임자와 AI 거버넌스 팀에게는 모든 모델, 에이전트, 도구 전반에서 "누가 무엇에 액세스할 수 있는가"라는 질문에 대한 해답입니다.

개발자와 플랫폼 엔지니어에게는 모델 레지스트리, MCP 레지스트리, 도구별 액세스 제어를 통해 지원 요청과 통합 과정의 번거로움을 줄이고, 실제로 사용하고 싶은 체계적으로 관리되는 AI 플랫폼을 제공할 수 있습니다.

산업 전반에서 나타나는 초기 성과

이 차세대 F5 AI Gateway는 AI 거버넌스가 저절로 성숙할 때까지 기다릴 여유가 없는 기업들에서 이미 도입되고 있습니다.

중동의 한 대형 신용카드 결제 처리업체는 프롬프트 인젝션, 탈옥 공격, 개인 식별 정보(PII) 유출을 방지하는 보호 장치를 적용하기 위해 AI Gateway를 도입하고 있습니다. 이를 통해 고객의 결제 데이터와 개인 식별 정보가 보호되지 않은 상태로 제3자 모델에 전달되는 일을 차단합니다. 이 고객에게 장애 발생 시 차단(fail-closed) 방식의 정책 적용과 완전한 감사 가능성은 선택 기능이 아니라 규제 준수를 위한 필수 요건입니다.

연간 5천만~1억 달러를 LLM 추론에 지출하는 실리콘밸리의 한 대형 기술 기업은 토큰이 어디에 사용되는지 파악하고 비용을 통제하기 위해 AI Gateway를 도입하고 있습니다. 이 정도 규모에서는 토큰 경제성이 이사회 차원의 관심사입니다. 캐시 적중률을 1%포인트 높이거나 스마트 라우팅을 최적화할 때마다 수백만 달러를 절감할 수 있기 때문입니다. 토큰 사용량 측정, 팀별 예산 프로필, 단순한 워크로드를 프리미엄 모델이 아닌 다른 모델로 유도하는 스마트 라우팅을 활용하면 수천만 달러의 AI 비용을 즉시 절감할 수 있으며, 그 효과도 정량적으로 측정할 수 있습니다.

엔터프라이즈 AI 도입 초기 단계에 있는 아시아 태평양 지역의 한 선도적인 금융 서비스 기업도 첫날부터 기반에 거버넌스를 내재화하기 위해 AI Gateway를 사용하고 있습니다. 이 기업의 운영 및 IT 팀은 비용 가시성과 예산 통제 기능을 원하며, 개발자들은 적합한 도구로 혁신을 가속화할 수 있도록 엄선된 Model Registry와 MCP Registry를 필요로 합니다. 이 금융 서비스 기업은 나중에 거버넌스를 덧붙이는 대신 처음부터 통합 제어 영역을 도입함으로써 AI를 관리 가능하고 확장 가능한 역량으로 자리매김하고 있습니다.

세 개의 산업. 세 개의 대륙. 하나의 공통된 요구 사항: AI가 여러분을 지배하기 전에 AI를 관리하십시오.

기업의 AI 도입 속도가 거버넌스 구축 속도를 앞지르고 있습니다. F5 AI Gateway는 모든 팀에 이러한 상황을 바꿀 수 있는 가시성과 제어 역량, 확신을 제공합니다. 지금 사용해 보세요.

또한 보도자료도 꼭 읽어보세요.

작성자 소개

Nirav Shah제품 및 솔루션 마케팅 담당 수석 부사장 | F5

Nirav Shah는 F5의 수석 부사장 겸 제품 및 솔루션 마케팅 총괄로서 애플리케이션 보안과 AI 보안의 전략적 방향을 이끌고 있습니다. F5에 합류하기 전에는 Fortinet에서 11년간 여러 리더십 직책을 맡았으며, 특히 AI 기반 SASE, SOC 및 보안 네트워킹 솔루션을 총괄했습니다. 또한 Cisco Systems에서 SD-WAN의 주요 이니셔티브를 주도하는 등 핵심적인 역할을 수행한 폭넓은 경력을 보유하고 있습니다. 사이버 보안 분야에서 20년 넘게 쌓은 경험을 바탕으로 시장을 새롭게 정의하는 제품을 출시하고, 제품 개발과 영업 및 마케팅을 연계해 성과를 극대화하는 고성과 팀을 구축해 온 검증된 실적을 갖추고 있습니다. 업계를 선도하는 사상가이자 USC 동문인 그는 업계 콘퍼런스에서 자주 연사로 나서고 AI와 사이버 보안의 접점에 관한 글을 주요 간행물에 정기적으로 기고하는 한편, 차세대 사이버 보안 전문가를 육성하는 데에도 힘쓰고 있습니다.

Nirav Shah의 다른 블로그 게시물