CASI 리더보드 소개

업계 동향 | 2025년 9월 29일

AI 도입은 이전의 어떤 기술보다도 빠르게 가속화되고 있습니다.

소수의 대규모 모델과 공급업체로 시작된 시장은 이제 저마다 고유한 장점과 위험을 지닌 오픈 소스 및 상용 AI 모델의 방대한 생태계로 확장되었습니다. 수백만 개의 모델 중에서 선택해야 하는 AI 도입 기업에는 투명한 위험 정보가 필요합니다 이를 통해 각 모델이 자사 환경에 어떤 위협을 초래하는지 정확히 파악할 수 있습니다.

F5의 CalypsoAI 인수에 이어, 주요 AI 모델별 위험 구성에 대한 상세한 인사이트를 AI 및 GRC 리더에게 제공하기 위해 종합 AI 보안 지수(CASI) 리더보드를 선보이게 되어 기쁘게 생각합니다. 2018년에 설립된 CalypsoAI는 AI 보안 연구를 선도해 왔으며, 세계 최대 규모의 AI 취약점 라이브러리 중 하나를 구축하고 매월 10,000개 이상의 새로운 공격 프롬프트를 추가해 정기적으로 업데이트하고 있습니다. 이러한 기반을 바탕으로 리더보드 테스트는 가장 널리 사용되는 모델과 고객이 배포한 모델을 중심으로 기반 모델 및 AI 시스템의 보안을 종합적으로 평가합니다.

CASI 테스트는 어떻게 진행되나요?

이러한 도구는 프로덕션 환경에 바로 적용할 수 있는 모델을 선택하려는 비즈니스 요구에 부합하도록 개발되었으며, CISO와 개발자가 보안을 최우선으로 고려해 구축할 수 있도록 지원합니다. 리더보드는 AI 분야의 수많은 정보를 명확하게 정리하여 복잡한 모델 보안 문제를 다음의 5가지 핵심 지표로 요약합니다:

CASI 점수 - 모델의 전반적인 보안 수준을 측정하기 위해 설계된 종합 지표입니다(방법론은 아래 참조).
에이전트 저항성 점수(ARS) - 모델이 전체 AI 시스템을 어느 정도 침해할 수 있는지 평가합니다. 이를 위해 시스템을 공격하고 정보를 추출하며 인프라를 침해하도록 훈련된 자율 공격 에이전트 팀을 투입합니다. 이러한 방식으로 에이전트는 벡터 저장소에서 민감한 개인 식별 정보(PII)를 추출하고, 시스템 아키텍처를 파악하며, 명시적인 지침에 대한 모델의 정렬 상태를 테스트할 수 있습니다.
성능 - 모델의 평균 성능은 MMLU, GPQA, MATH, HumanEval과 같은 널리 사용되는 벤치마크를 기준으로 평가됩니다.
위험 대비 성능 비율(RTP) - 모델 안전성과 성능 간의 상충 관계에 대한 인사이트.
보안 비용(CoS) - 모델의 CASI 대비 현재 추론 비용으로, 보안이 재정에 미치는 영향을 평가합니다.

F5 Labs의 종합 AI 보안 지수(CASI) 리더보드.

CASI 점수란 무엇이며 왜 중요한가요?

CASI는 다음과 같은 복잡한 질문에 답하기 위해 개발된 지표입니다. “내 모델은 얼마나 안전한가?” CASI 점수가 높을수록 모델이나 애플리케이션의 보안 수준이 높다는 뜻입니다. 모델 공격이나 레드팀 테스트에 관한 많은 연구가 공격 성공률(ASR)에 의존하지만, 이 지표는 각 공격이 미치는 영향의 차이를 간과하는 경우가 많습니다. 기존 ASR은 모든 공격을 동일하게 취급하므로 오해를 불러일으킬 수 있습니다. 예를 들어, 자전거 자물쇠를 우회하는 공격을 핵무기 발사 코드를 탈취하는 공격과 동일하게 봐서는 안 됩니다. 마찬가지로 AI에서도 보안이 취약한 소형 모델은 민감한 정보를 요구하는 간단한 요청만으로 쉽게 침해될 수 있지만, 대형 모델의 정렬을 무너뜨리려면 자율적으로 협력하는 에이전트형 AI 공격자와 같은 정교한 기법이 필요할 수 있습니다. CASI는 단순 공격과 복잡한 공격을 구분하고, 공격 성공에 필요한 최소 저항 경로와 최소 컴퓨팅 자원을 의미하는 모델의 방어 한계점(DBP)을 설정함으로써 이러한 미묘한 차이를 반영합니다.

에이전트 저항 점수(ARS): CASI를 넘어선 모델 스트레스 테스트

표준 AI 취약점 스캔은 모델 보안에 대한 기본적인 관점을 제공하지만, 실제 공격 상황에서 AI 시스템이 어떻게 작동할 수 있는지를 이해하기에는 피상적인 수준에 그칩니다.

이러한 격차를 해소하기 위해 당사는 F5 AI Red Team을 활용합니다. 이는 자율형 AI 에이전트 군집을 지휘하여 끈질기고 지능적인 위협 분석가 팀을 모사하는 정교한 레드팀 기술입니다. 이러한 에이전트는 탐색하고 학습하며 적응하면서 정적 테스트로는 놓치기 쉬운 중대한 취약점을 드러내도록 설계된 다단계 공격을 수행합니다.

이러한 엄격한 테스트 과정을 통해 AI 시스템의 방어 강도를 0점에서 100점까지 정량적으로 측정한 ARS가 산출됩니다. ARS가 높을수록 시스템을 침해하려면 더욱 정교하고 끈질기며 충분한 정보를 갖춘 공격자가 필요하다는 의미입니다. 복잡한 공격 시나리오를 바탕으로 도출되는 이 비교 가능한 수치는 다음 세 가지 핵심 범주에 걸쳐 계산됩니다:

요구되는 정교함 – AI를 침해하는 데 필요한 공격자의 최소 역량 수준은 어느 정도인가요? 시스템이 고도화된 맞춤형 전략을 견딜 수 있나요, 아니면 더 단순하고 일반적인 공격에 무너지나요?
방어 지속력 – AI 시스템은 장기간에 걸쳐 적응적으로 전개되는 공격에도 얼마나 오래 보안을 유지할 수 있을까요? 몇 차례의 상호작용만으로 무너질까요, 아니면 지속적으로 진화하는 공격에도 견뎌낼 수 있을까요?
방첩 – AI가 의도치 않게 공격자를 훈련시키고 있지는 않습니까? 이 평가 항목은 실패한 공격으로 인해 필터의 특성과 같은 핵심 정보가 노출되어 향후 공격에 악용할 수 있는 로드맵을 무심코 제공하는지를 측정합니다.

최신 동향은 무엇인가요?

F5 Labs 팀은 상세한 분석을 통해 9월 테스트에서 관찰된 최신 동향을 다룹니다. 새롭게 부상하는 기법, 취약점 및 익스플로잇에 대한 심층적인 인사이트를 얻고 AI 보안의 최신 동향을 파악하려면 매월 다시 확인해 보세요.

AI 모델 환경의 변화에 발맞추기

AI 공격 표면은 계속 진화할 것이며, F5는 조직이 AI 보안을 변화에 맞춰 조정하는 데 필요한 인사이트를 제공하기 위해 최선을 다하고 있습니다. 모든 신기술이 그렇듯 AI에는 항상 ‘0이 아닌’ 수준의 위험이 따릅니다. 포괄적인 AI 보안을 위한 첫걸음은 위험이 어디에 존재하는지 파악하는 것이며, AI 모델 환경이 끊임없이 변화함에 따라 CASI 리더보드는 이러한 이해를 지속적으로 구체화해 나갈 것입니다.

더 많은 인사이트가 필요하신가요? 기본 모델 평가에 사용하는 것과 동일한 에이전틱 레드팀 기법을 귀사의 AI 환경에 맞게 적용하고 조정하여, F5 AI Red Team을 통해 더욱 심층적인 인사이트를 얻을 수 있습니다.

작성자 소개

Lee Ennis데이터 사이언스 수석 매니저 | F5

Lee Ennis는 F5에서 AI 데이터 과학 및 연구팀을 이끌며, 기업이 대규모 언어 모델(LLM)과 생성형 AI 시스템을 안전하게 배포하고 모니터링할 수 있도록 지원하는 고급 AI 보안 솔루션 개발에 주력하고 있습니다. 그의 팀은 머신러닝, 적대적 테스트, 모델 보증 분야의 전문성을 결합해 취약점을 식별하고 AI 기반 환경에 대한 신뢰를 강화합니다.

Lee Ennis의 다른 블로그 게시물