F5 AI Red Team: 일회성 관문인가, 지속적인 실천인가?

F5 ADSP | 2026년 8월 13일

AI 모델 테스트를 중단하면 보안 점수는 어떻게 될까요?

대부분의 팀은 출시 전에 레드팀 평가를 실시해 좋은 점수를 받은 뒤 다음 단계로 넘어갔기 때문에, 그 답이 "아무 일도 일어나지 않는다"라고 생각합니다. 하지만 모든 조직은 속도, 규모, 그리고 보안이라는 동일한 세 가지 요소를 동시에 변화시키고 있습니다. 이들은 AI 기능을 빠르게 출시하고 신뢰성을 유지하는 동시에, 계속 늘어나는 모델, 에이전트, 통합 전반에서 어떠한 절충도 없이 이 두 가지를 모두 달성하고자 합니다.

하지만 실제로는 한 가지를 강하게 밀어붙이면 거의 언제나 다른 한 가지가 희생됩니다. 몇 주마다 업데이트되는 모델을 출시하는 팀은 매번 수동 검토에 6주를 할애할 여유가 없기 때문에 지난달의 결과를 여전히 유효한 것으로 간주하거나 검증되지 않은 모델을 그대로 노출하게 됩니다. Red teaming은 과거에는 출시 전에 확인하고 넘어가는 항목이었지만, 이제 정적인 특정 시점의 테스트로는 빠르게 진화하는 AI 위협의 속도를 더 이상 따라잡을 수 없습니다.

“AI 레드팀 활동은 보호 대상 시스템과 동일한 속도로 발전해야 하는 지속적인 과정입니다.”

일반적인 획일적 테스트로는 조직 고유의 워크플로, 업종 및 규제 범위에 특화된 위험에 대응할 수 없습니다. 바로 그렇기 때문에 실무자에게는 각자의 환경에 맞게 조정된 레드팀 테스트가 필요하며, 일부 고객은 이미 이를 자사의 파이프라인과 인프라에 직접 통합해 운영하고 있습니다.

CASI 및 ARS 점수가 실제로 측정하는 것

정적 테스트를 통해 모델이 특정 시점의 테스트를 통과했는지는 알 수 있지만, 지속적이고 정교하며 진화하는 공격을 얼마나 잘 견뎌내는지는 알 수 없습니다. 이에 F5 Labs는 보안 팀이 모델을 명확하게 평가하고, 시간 경과에 따른 보안 태세를 추적하며, 경영진에게 위험을 보고할 수 있도록 두 가지 객관적 지표인 종합 AI 보안 지수(CASI)와 에이전틱 저항 점수(ARS)를 개발했습니다. 각 지표가 실제로 무엇을 측정하는지 살펴보겠습니다.

종합 AI 보안 지수(CASI) – CASI는 모델의 전반적인 보안 수준을 측정하기 위해 설계된 종합 지표입니다(방법론은 여기). 공격 성공 횟수, 공격이 초래할 수 있었던 결과의 심각성, 공격자가 성공하기까지 들인 노력 등을 반영합니다. 점수가 높을수록 모델의 전반적인 보안 태세가 더 강력하다는 의미입니다.

에이전트 저항 점수(ARS) – ARS는 자율 공격 에이전트 팀이 전체 AI 시스템을 무력화하거나, 민감한 정보를 추출하거나, 시스템 아키텍처를 파악하거나, 모델을 대상으로 사회공학적 공격을 시도할 때 시스템이 얼마나 잘 버티는지를 측정합니다. ARS가 높다는 것은 단 한 번의 시도뿐 아니라 지속적이고 표적화된 압박 속에서도 시스템이 안전장치를 온전히 유지한다는 의미입니다.

실제 현장에서 CASI, ARS 및 F5 AI Red Team이 활용되는 방식

대부분의 보안 팀은 이미 정적 애플리케이션 보안 테스트(SAST)와 같은 기존 도구로 소스 코드를 스캔하고, 동적 애플리케이션 보안 테스트(DAST)로 실행 중인 애플리케이션을 테스트합니다. 하지만 두 도구 모두 애플리케이션의 기반이 되는 AI 모델이 속임수나 조작에 넘어가거나 점진적으로 무력화될 수 있는지를 테스트하도록 설계되지는 않았습니다.

CASI 점수는 측정 시점에는 정확하지만, 모델과 위협은 끊임없이 변화합니다. 한 테스트 주기에서 약 93점을 받은 모델이 몇 달 후에는 73~77점으로 떨어질 수 있습니다. 고객 측에서 코드를 전혀 변경하지 않았는데도 기반 모델이 바뀌었다는 이유만으로 15~20점의 변동이 발생하는 것입니다. 그래서 일부 F5 AI Red Team 고객은 재테스트를 CI/CD 릴리스 파이프라인에 직접 통합합니다. 새 모델 버전이나 미세 조정된 변형 모델이 출시되거나 일정 시간이 지나면, 지난 분기의 점수가 여전히 유효하다고 가정하는 대신 CASI 및 ARS 기준선을 다시 확인합니다.

CASI 리더보드는 인기 AI 모델의 CASI 점수가 매월 어떻게 변화했는지 추적합니다.

맞춤 인텐트 규제

표준 CASI 실행은 알려진 다양한 공격에 대해 모델이 얼마나 잘 견디는지 보여주지만, 특정 신규 기능이나 법적 요구 사항과 관련된 위험까지 자동으로 포착하지는 못합니다. 예를 들어 증상 확인 기능이 추가된 의료 챗봇이나 전신 송금을 개시할 수 있게 된 금융 에이전트의 경우, 일반적인 테스트에서는 탐지 대상으로 삼을 이유가 없는 위험이 발생할 수 있습니다. 이러한 시나리오에서는 고객이 특정 기능이나 규제 요구 사항에 맞춰 범위를 지정한 사용자 지정 공격 인텐트를 구축합니다.

예를 들어, 다국적 계약 도구는 한 지역에서는 EU AI Act 의무 준수 여부를, 다른 지역에서는 전혀 다른 PII 표준 준수 여부를 테스트해야 할 수 있습니다. 사용자 지정 인텐트를 사용하면 팀은 포괄적인 범위의 일반 테스트에 의존하는 대신, 준수 여부를 입증해야 하는 특정 규칙이나 기능을 정확히 테스트할 수 있습니다.

내부 레드팀 전문 조직 구축

일부 대규모 조직(적어도 한 곳의 대형 로펌 포함)은 한발 더 나아가, 조직 내 다른 부서에서 사용하는 AI 애플리케이션의 레드팀 테스트만을 전담하는 소규모 내부 팀을 구성했습니다. 이 팀은 조직의 위협 환경과 CASI 및 ARS 결과를 모두 이해하고 있으며, 새로운 AI 기능을 개발할 때 제품 팀 및 취약점 관리 팀과 직접 협력합니다.

보안 팀은 모든 모델의 보안 수준이 동일한 것은 아니며, 그렇다고 가정할 때 위험이 발생한다는 단순한 사실을 전달하기 위해 애플리케이션 개발자들과 CASI 결과를 공유합니다. 이를 통해 모델 수준의 위험을 전혀 고려하지 않을 수도 있는 정보 보안(InfoSec) 팀과 데브옵스(DevOps) 팀 간의 지식 격차를 해소합니다.

여기서 핵심은 위협 환경이 대부분의 보안 팀이 수작업으로 대응할 수 있는 속도보다 더 빠르게 변화하고 있다는 점입니다. AI 레드팀 활동은 보호 대상 시스템과 같은 속도로 발전해야 하는 지속적인 실무입니다. 이를 위해서는 다음이 필요합니다:

지속적으로 수행되어야 합니다: 몇 주씩 걸리는 수동 테스트로는 모델과 에이전트의 빠른 변화 속도를 따라잡을 수 없습니다.
위험 발견과 해결 사이의 간극 해소: 레드팀 테스트 결과를 즉시 개선 조치에 반영하여, 테스트를 정적인 보고서가 아닌 실제 위험 노출에 더 빠르고 우선순위에 따른 대응을 이끄는 수단으로 전환합니다.
보안 팀이 업무 성과를 입증할 수 있는 방법 제공: 모든 평가에서 CASI 및 ARS 점수를 산출하여, 팀이 시간 경과에 따른 보안 태세를 객관적이고 비교 가능한 방식으로 추적하고 경영진에게 위험을 명확하게 전달할 수 있도록 합니다.

현재 보안 환경은 누구도 예측할 수 없을 만큼 빠르게 변화하고 있지만, F5 AI Red Team, CASI 및 ARS를 활용하면 보안 팀은 최신 위협 정보를 반영한 가드레일을 지속적으로 유지할 수 있습니다.

자세한 내용은 F5 AI Red Team 및 F5 Labs CASI 및 ARS 리더보드 웹페이지에서 확인하세요.