높은 점수만으로는 충분하지 않을 때: Qwen3가 우리에게 가르쳐 준 것

James White최고기술책임자(CTO), AI 보안 | F5

F5에서는 한 가지 질문이 계속 제기됩니다. 모델이 안전한지 어떻게 정말로 알 수 있을까요? 이는 저희가 답을 찾기 위해 꾸준히 연구해 온 질문으로, 먼저 종합 AI 보안 지수(CASI) 점수를 개발했고, 최근에는 에이전틱 저항성 점수(ARS)를 마련했습니다. 이제 이 점수들이 무엇을 의미하는지, 그리고 실제 환경에서 모델을 평가할 때 두 점수가 모두 중요한 이유를 살펴보겠습니다.

CASI: 보안 기준선

CASI는 한동안 당사의 벤치마크로 사용되어 왔습니다. 모델의 전반적인 보안 태세와 광범위한 취약점에 대한 복원력을 개괄적으로 보여줍니다. CASI는 단순히 공격 성공률만 집계하는 것이 아니라, 성공한 침해의 심각도, 공격 경로의 복잡성, 그리고 모델의 안전장치가 무너지기 시작하는 방어 한계점까지 종합적으로 평가합니다.

CASI는 “이 모델이 다른 모델과 비교해 전반적으로 안전한가?”를 판단하는 데 도움이 되는 점수라고 생각하면 됩니다. 사람들이 “안전한 모델”을 원한다고 말할 때 대부분 찾는 것이 바로 이 점수입니다.

하지만 중요한 점은 이겁니다. 현실의 공격자는 모델에 프롬프트 하나만 던지고 물러나지 않습니다. 끈질기게 시도하고, 여러 전술을 구사하며, 목표를 향해 움직입니다.

ARS: 스트레스 테스트

바로 이 지점에서 ARS가 필요합니다. ARS는 이론적인 회복탄력성을 측정하는 데 그치지 않고, 실제 압박 상황에서 이를 검증합니다.

AWR 평가에서는 자체 자율 공격 에이전트를 배포합니다. 데이터 유출이나 시스템 조작과 같은 항목에 초점을 맞춘 다섯 가지 악의적 의도를 부여한 뒤 자유롭게 행동하도록 합니다. 공격 에이전트는 계획을 세우고, 반복적으로 시도하며, 상황에 맞게 적응합니다. 목표를 달성하기 위해 필요한 곳이라면 어디든 찾아갑니다.

이것이 바로 현재 두 개의 리더보드를 운영하는 이유이기도 합니다. 이는 의도적인 설계가 아니라 현실을 반영한 결과입니다. CASI에서는 강력해 보이는 일부 모델도 에이전트 기반 공격의 압박에는 무너지는 반면, 다른 모델들은 견고하게 버텨냅니다.

대표적인 사례: Qwen3

예를 들어 Qwen3를 살펴보겠습니다. 최근 Alibaba가 출시한 이 모델은 객관적으로 우수한 모델입니다. CASI에서는 5위를 차지해 상위 10위 안에 여유 있게 들었습니다. 최고도 최악도 아니지만 충분히 훌륭한 성적입니다. 참고로 전체 모델 중 상위 1%만이 CASI 리더보드에 이름을 올릴 수 있습니다. 인상적이지 않나요?

하지만 ARS 리더보드에서 Qwen3는 순위권에조차 들지 못했습니다. 왜일까요? 자해를 비롯한 끔찍한 행위처럼 매우 유해한 내용을 나타내도록 각각 설계된 다섯 가지 악의적 의도로 테스트했을 때, 모든 테스트에서 실패했기 때문입니다. 다시 말해, 유해한 요청에 대한 저항력이 전혀 없었습니다.

이에 비해 ARS 리더보드에서 1위를 차지한 모델은 Anthropic의 Claude 3.5 Sonnet입니다. 동일한 5가지 악의적 의도 중 Claude 3.5는 3가지에는 견고했지만 2가지에는 취약했습니다. 따라서 여전히 위험은 있지만, 그 정도는 크게 줄었습니다. (참고로 Claude 3.5는 CASI 리더보드에서도 1위를 차지해 어느 정도 상관관계가 있습니다.)

이것이 실제 환경에서 실질적으로 무엇을 의미하는지 살펴보겠습니다. 도구, 데이터 저장소 또는 사용자 입력에 연결되는 AI 시스템에서 Qwen3를 사용하면 전체 시스템이 실질적인 취약점에 노출됩니다.

이는 CASI만으로는 파악할 수 없는 미묘한 차이입니다. 두 가지 관점이 모두 필요합니다. 전반적인 보안 태세는 CASI로, 시스템 수준의 복원력은 ARS로 평가해야 합니다. 조직적인 공격을 받는 상황에서.

핵심 요약

이 점수는 보여주기 위해 만든 것이 아닙니다. AI 환경에서 공격자는 끊임없이 변화하므로, 보안 역시 정체되어서는 안 된다는 판단에서 만들었습니다.

성능만 보고 모델을 선택한다면, 즉 MMLU 점수나 속도만 고려한다면 가장 중요한 부분을 놓치고 있는 것입니다. 그러니 다음에 누군가 어떤 모델이 “최첨단”이라고 말한다면 이렇게 물어보세요. 보안은 검증됐나요? 그렇지 않다면 아직 준비된 모델이 아닙니다.

작성자 소개

James White최고기술책임자(CTO), AI 보안 | F5

James White는 엔터프라이즈 소프트웨어 업계에서 약 20년의 경력을 쌓은 뛰어난 엔지니어이자 비즈니스 리더입니다.

James White의 다른 블로그 게시물