추론 속도로 엔터프라이즈 AI를 제공하고 보호하세요

대부분의 엔터프라이즈 GPU 클러스터는 가용 용량을 훨씬 밑도는 수준으로 운영됩니다. GPU 활용률을 높이려면 조직은 연속 배칭, 추측 디코딩, 양자화와 같은 런타임 효율화 기법을 도입해 하드웨어에서 훨씬 더 높은 처리량을 끌어내야 합니다. 또한 지능형 추론 라우팅을 활용해 간단한 쿼리는 더 작은 모델로 보내는 한편, 반복되는 답변은 캐싱하여 다시 계산하지 않도록 할 수 있습니다. 조직이 이러한 GPU에 작업을 적절히 공급하고 전체 스택에 대한 계측 체계를 갖추면 토큰당 비용을 낮출 수 있습니다.

GPU가 파이프라인의 데이터 공급 속도보다 빠르게 데이터를 소비하기 때문에, 고가의 가속기는 데이터를 기다리는 동안 유휴 상태로 남게 됩니다. 기존 스토리지는 최신 학습 및 추론에 필요한 지속적인 고처리량 데이터 액세스를 제공하도록 설계되지 않았습니다. 액세스 패턴을 예측할 수 없거나, 과부하된 CPU가 전처리를 담당하거나, 데이터가 여러 사일로에 분산되어 컴퓨팅 리소스로 빠르게 전달할 수 있는 통합 경로가 없으면 데이터 이동 문제는 더욱 심각해집니다. 조직은 데이터 제공을 체계적으로 설계된 인프라로 취급함으로써 느린 데이터 이동 문제를 해결할 수 있습니다. 이를 위해 프리페칭, 캐싱, 병렬 로딩, 고처리량 스토리지를 활용하여 데이터를 GPU에 더 가깝게 배치해야 합니다. 이러한 기법을 사용하면 지속적으로 데이터 부족에 시달리는 대규모 클러스터를 유지하는 대신, 더 작은 클러스터에도 데이터를 끊김 없이 공급할 수 있습니다.

기존의 API 및 데이터 보안은 인증, 권한 부여, 스키마 검증, 위협 탐지, 데이터 보호 등의 제어 기능을 통해 API와 민감한 정보를 보호합니다. 그러나 이러한 제어 기능은 자연어 프롬프트의 의미와 의도를 안정적으로 해석하도록 설계되지 않았기 때문에 AI 시스템에 추가적인 위험을 초래합니다. AI 런타임 보안은 사용자와 상호 작용하는 동안 시스템을 보호합니다. 고정된 규칙 대신 자연어 입력을 해석하여 위협을 탐지하고, 출력이 사용자에게 전달되기 전에 이를 검사하여 모델이 유해한 콘텐츠를 제공하거나 민감한 데이터를 노출하지 않도록 합니다.

비영리 단체 OWASP(Open Worldwide Application Security Project)에 따르면, AI 시스템에 대한 가장 큰 위협은 공격자가 모델의 동작을 조작하기 위해 입력을 교묘하게 구성하는 프롬프트 인젝션입니다. 그다음으로 높은 순위를 차지한 위협은 민감한 정보의 노출로, 모델이 출력을 통해 개인 데이터, 시스템 프롬프트 또는 지적 재산을 유출하는 경우를 말합니다. AI 가드레일은 이러한 위협을 비롯한 다양한 유형의 위협을 차단하는 데 도움이 될 수 있습니다. 입력 가드레일은 프롬프트 인젝션 및 시스템 재정의 패턴을 검사하여 모델이 악의적인 지시를 접하지 못하도록 합니다. 출력 가드레일은 모델의 출력이 사용자에게 전달되거나 후속 작업을 실행하기 전에 이를 검사하고 검증하여, 모델 출력을 통한 민감한 데이터 노출을 방지하는 데 도움을 줍니다.

기업이 데이터 및 AI 워크로드를 클라우드에서 소버린 또는 에어갭 환경으로 다시 이전하는 데에는 세 가지 주요 이유가 있습니다. 첫째, 많은 기업이 규제 대상 데이터나 민감한 데이터에 대한 통제력을 강화해야 합니다. 이를 통해 데이터 주권 규정을 준수하는 동시에 독점적인 학습 데이터가 외부 클라우드 데이터 센터에 저장되지 않도록 할 수 있습니다. 둘째, 조직은 높은 데이터 반출 비용과 예측하기 어려운 클라우드 서비스 요금을 피하고자 합니다. 마지막으로, 조직은 멀티테넌트 클라우드 인프라에서 발생하는 오버헤드를 제거하여 AI 추론 성능을 개선하고자 합니다.

AI 에이전트와 생성형 AI(GenAI) 도구 사용 시 데이터 유출을 방지하려면 기업 보안 운영(SecOps) 팀은 다계층 방어 전략을 구현해야 합니다. 이 전략에는 입력과 출력에 대한 실시간 인라인 가드레일 구현, AI 에이전트의 접근 권한 제한, 검색 증강 생성(RAG)에 사용되는 AI 객체 스토리지 보호, API 접근 보안 강화, 발견된 취약점에 대한 지속적인 레드팀 테스트 및 해결이 포함되어야 합니다. 이와 동시에 조직 내 구성원의 AI 사용 현황을 파악하고 분류하며 관리하는 데 도움이 되는 도구도 배포해야 합니다.

F5 AI Guardrails는 런타임 정책을 적용하고 프롬프트 인젝션, 민감한 데이터 유출, 유해한 출력, 안전하지 않은 에이전트 작업과 같은 위험으로부터 보호합니다. F5 AI Red Team은 적대적 테스트를 통해 배포 전과 배포 중에 취약점과 약점을 식별합니다. F5 AI Gateway는 모델, 에이전트 및 도구에 대한 액세스를 관리하는 중앙 집중식 제어 지점을 제공하며, F5 Workforce AI Security는 기업 전반에서 승인된 AI와 승인되지 않은 AI의 사용 현황에 대한 가시성을 제공합니다. 이러한 기능은 함께 F5 AI Security Platform의 일부를 구성합니다. 애플리케이션, API 및 분산 환경 전반에서 더욱 광범위한 보호와 딜리버리를 제공하기 위해 F5 Application Delivery and Security Platform (ADSP)은 웹 애플리케이션 및 API 보호, 봇 관리, DDoS 완화, 애플리케이션 딜리버리 등의 기능을 제공합니다.