F5 AI Red Team

수동 AI 레드팀 테스트는 인간 전문가가 창의적인 방식으로 AI 시스템의 취약점을 탐색하는 반면, 자동화된 레드팀 테스트는 도구와 스크립트를 사용해 대규모로 체계적인 테스트를 수행합니다. 가장 효과적인 접근 방식은 두 가지를 결합하는 것입니다. 자동화를 통해 포괄적인 테스트 범위를 확보하고, 인간의 전문성을 활용해 미묘한 차이를 고려한 창의적인 공격 시나리오를 설계할 수 있습니다.

적대적 테스트를 수행하지 않으면 조직은 프롬프트 인젝션 공격, 데이터 유출, 탈옥, 무단 출력 등의 위험에 노출될 수 있으며, 이로 인해 민감한 데이터가 공개되고 브랜드 평판이 훼손되며 지식 재산이 침해될 수 있습니다. 또한 적대적 테스트에서 얻은 결과는 NIST AI 위험 관리 프레임워크(AI RMF) 및 EU AI법과 같은 프레임워크에 부합하는 AI 위험 관리 및 규정 준수 프로그램을 수립하는 데 도움이 될 수 있습니다.

AI 레드팀 활동은 프롬프트 인젝션과 AI 특화 탈옥을 비롯해 AI/ML 모델과 그 고유한 취약점을 집중적으로 공략하는 반면, 기존의 침투 테스트는 네트워크, 애플리케이션 및 인프라의 보안 결함에 중점을 둡니다. 또한 보안 팀이 OWASP LLM 애플리케이션 10대 위험과 같은 프레임워크에 반영된 AI 특화 위험을 평가하는 데도 도움이 될 수 있습니다.

레드팀 수행 주기는 조직별 고유한 위험 정의뿐 아니라 업계별 요구 사항과 규정 준수 요건에 따라 달라집니다. AI 위협 환경이 빠르게 변화하는 만큼 최소한 월 1회의 레드팀 활동을 기본 기준으로 삼아야 하지만, 많은 팀은 CI/CD 파이프라인의 일상적인 구성 요소로 레드팀 보고서를 작성합니다.

현재 F5 AI Red Team은 에이전트를 사용하여 공격 캠페인을 실행하지만, 해당 캠페인의 대상은 에이전트 자체가 아니라 배포된 모델 또는 애플리케이션입니다. AI 에이전트는 본질적으로 도구 호출을 통해 일련의 작업을 수행할 수 있는 모델에 불과하므로, 모델에서 발견된 많은 취약점은 에이전트형 워크플로에도 그대로 적용됩니다.

Microsoft PyRIT와 같은 오픈 소스 프레임워크는 맞춤형 AI 레드팀 워크플로와 보안 연구를 지원할 수 있습니다. F5 AI Red Team은 지속적으로 업데이트되는 공격 데이터베이스, 멀티턴 테스트, 에이전틱 핑거프린트, 반복 캠페인, 보고 기능, 그리고 클라우드 및 온프레미스 환경 전반의 배포 옵션을 통해 엔터프라이즈 규모의 자동화된 적대적 테스트를 제공합니다.

F5 AI Red Team은 검색 증강 생성(RAG) 지원 애플리케이션이 악용되기 전에 데이터 유출, 프롬프트 인젝션 및 기타 적대적 취약점을 테스트할 수 있습니다. 이후 테스트 결과를 바탕으로 문제를 해결하고 F5 AI Guardrails를 비롯한 런타임 제어를 적용하여 프로덕션 환경의 AI 상호작용을 보호할 수 있습니다.

프롬프트 인젝션은 악의적인 지시를 사용해 모델이나 애플리케이션이 의도된 동작을 무시하도록 조작하는 공격으로, 검색된 콘텐츠나 연결된 데이터를 통해 전달되는 간접 프롬프트 인젝션도 포함됩니다. 탈옥은 모델의 안전 제어나 제한을 우회하도록 설계된 적대적 프롬프팅의 한 형태입니다. AI 레드팀은 공격자가 이러한 취약점을 악용하기 전에 모델, 애플리케이션 및 워크플로가 조작될 수 있는 지점을 파악하기 위해 두 가지 공격을 모두 테스트합니다.