AI 애플리케이션을 위한 애플리케이션 전송 및 보안: 현대 AI 아키텍처 탐색

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

올해 상반기에는 추론 배포 패턴과 새롭게 부상하는 AI 애플리케이션 아키텍처가 모두 표준화되기 시작하면서 네트워크부터 애플리케이션 제공 및 보안에 이르기까지 향후 미칠 영향을 더 명확하게 파악할 수 있게 되었습니다. 당사는 최근 실시한 AI 중심 연구 결과를 바탕으로, 추론이 온프레미스와 클라우드에 모두 배포되는 방식(자체 관리형 패턴)은 물론, 클라우드 제공업체의 제품을 통해 이용하는 방식(클라우드 호스팅형 패턴)과 서비스 형태로 이용하는 방식(서비스형 추론 패턴)으로도 제공될 것이라고 확신합니다.

하지만 새롭게 부상하는 AI 아키텍처는 검색 증강 생성(RAG)에 크게 의존하며, 이를 통해 데이터 소스(지식 그래프 및 벡터 데이터베이스)를 애플리케이션 아키텍처에 통합합니다. 연구에 따르면 “생성형 AI를 활용하는 기업의 70%가 기본 모델을 보강하기 위해 도구와 벡터 데이터베이스를 사용합니다.” (Databricks, 2024)

이러한 아키텍처 패턴은 네 가지 결과를 초래합니다.

1. 최신 애플리케이션 워크로드의 수를 늘립니다 엔터프라이즈 환경에서.
2. 보안이 필요한 API의 수를 크게 늘립니다.
3. 동서(E-W) 데이터 경로의 전략적 중요성을 높입니다 애플리케이션 전송 및 보안 기술에서.
4. 새로운 계층을 도입합니다 애플리케이션 아키텍처에 추론 계층이라는 새로운 계층을 도입합니다. 이는 초기 AI 기술 스택에서 언급된 ‘모델’ 계층이지만, AI 애플리케이션을 운영할 때는 학습 중인 모델(개발 프로세스)과 운영 중인 모델(실행 프로세스)을 구분하는 것이 유용합니다.

AI 아키텍처와 관련해 조직이 직면하는 과제의 90%는 새로운 것이 아니라는 점에 주목해야 합니다. 가시성, 속도 제한, 라우팅 등에 대한 요구 사항을 충족하기 위한 변경은 대부분의 기업이 이미 보유한 기존 기능을 점진적으로 개선하는 수준입니다.

AI 애플리케이션을 제공하고 보호하는 데 필요한 모든 기능 중 완전히 새로운 것은 불과 10% 정도이며, 그마저도 거의 모두 프롬프트와 AI 애플리케이션 트래픽의 비정형적 특성에 관련된 것으로 추정됩니다. 바로 이 10%로 인해 데이터 보안 관련 기능과 더불어 프롬프트 보안, 프롬프트 관리, 프롬프트 최적화 같은 새로운 애플리케이션 서비스가 등장하고 있습니다. F5는 이미 Portkey 및 Prompt Security와의 파트너십을 통해 이러한 요구 사항을 해결하려는 의지를 보여주었습니다.

바로 이 지점에서 AI 게이트웨이도 등장하고 있습니다. AI 게이트웨이의 정의와 시장에 제공하는 기능은 해당 ‘제품’을 누가 제공하느냐에 따라 달라지지만, API 게이트웨이와 마찬가지로 AI 게이트웨이는 보안 및 애플리케이션 라우팅 기능을 하나로 통합하여 조직에 전략적인 단일 제어 지점을 제공하는 경향이 있습니다. 하지만 이 ‘제품’의 기능 역시 대부분 AI 트래픽에 특화되어 기존 기능을 점진적으로 확장한 새로운 기능이며, 나머지는 이미 존재하는 기능입니다.

제가 보기에 정말 흥미로운 것은 새로운 계층입니다. 바로 이 계층에서 신규 및 기존 애플리케이션 제공 및 보안 기능이 필요해질 것이기 때문입니다.

실제로 새로운 계층이 도입되면서, 대규모 AI 추론 실행에 필요한 컴퓨팅, 스토리지 및 네트워크 리소스를 제공할 수 있는 인프라를 갖춘 새로운 데이터 센터 아키텍처가 등장하고 있습니다. 이 계층에서는 AI 네트워크 패브릭이나 AI 팩토리 등 앞으로 어떤 이름으로 불리든 새로운 개념들이 부상하고 있습니다. 명칭과 관계없이 이 새로운 인프라 구성에는 새로운 하드웨어 시스템에서 기존 인프라 구성을 운영할 수 있는 기능이 포함됩니다. 제공된 멋진 다이어그램에서 4번에 해당하는 부분입니다.

하지만 #2에도 몇 가지 새로운 기능이 필요합니다. 여기서 브리지는 확장성과 보안을 확보하고 API 트래픽을 라우팅해야 하는, 비교적 표준적인 N-S 데이터 경로입니다(물론 해당 API는 추론용이지만, 여전히 API입니다). 따라서 이 지점에서는 새로운 부하 분산 알고리즘이 등장하거나, 적어도 기존 알고리즘에 새로운 의사 결정 기준이 통합될 가능성이 높습니다.

예를 들어, 토큰 수와 컨텍스트 윈도우는 성능과 특정 요청이 이를 수신하는 시스템에 가하는 부하를 파악하는 데 특히 중요하며, 토큰 수가 비용에 미치는 영향도 빼놓을 수 없습니다. 따라서 이러한 변수가 #2에서 이루어지는 부하 분산/트래픽 라우팅 결정에 포함될 수 있다고 보는 것은 지극히 자연스럽습니다.

4번 항목은 서버의 네트워크 작업을 하드웨어로 오프로드하던 시절로 돌아간다는 점에서 아마도 가장 흥미로울 것입니다. 그렇습니다. 이는 “서버는 서비스에 집중하게 하라”라는 아키텍처 접근 방식의 귀환입니다. 현대 환경에서 이는 애플리케이션 전송 및 보안을 배포할 수 있는 통합 시스템으로 DPU를 활용하여, 추론 서버의 CPU가 오롯이 추론에 집중하도록 하는 것을 의미합니다. 이는 이전에도 보았던 패턴이며, 추론 서비스의 확장성(따라서 성능)과 관련된 모든 문제를 성공적으로 해결할 것입니다.

AI 아키텍처가 애플리케이션 딜리버리와 보안에 미치는 영향은 평범하면서도 중대합니다. 대부분의 과제가 기존과 동일하다는 점에서는 평범하지만, 조직이 이러한 과제를 전략적으로 해결할 수 있는 지점이 아키텍처에 추가된다는 점에서는 중대합니다.

업계가 일상적인 과제와 중대한 변화 모두에 어떻게 대응하느냐에 따라 애플리케이션 딜리버리와 보안의 미래가 결정될 것입니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물