모델이 도구, 자격 증명, 코드 및 프로덕션 시스템에 접근할 수 있게 되면서 AI 공격 표면이 확대되고 있습니다. 2026년 4월부터 7월까지 발표된 F5 Labs 연구에서 가장 분명하게 드러난 사실은 기업의 AI 위험이 모델의 조작 가능성만으로 결정되는 것이 아니라, 조작이나 오류가 발생했을 때 주변 시스템이 모델에 무엇에 접근하고 어떤 작업을 수행하도록 허용하는지에 따라서도 결정된다는 점입니다.
F5의 연구에 따르면 성능이 비슷한 모델이라도 보안 프로필은 크게 다를 수 있으며, 이러한 프로필은 배포 후에도 달라질 수 있습니다. 또한 유용한 기능이 새로운 공격 경로를 만들 수 있고, 과도한 권한은 모델 수준의 취약점을 비즈니스 사고로 확대할 수 있습니다. 이러한 위험은 더 이상 이론에 그치지 않습니다. F5 Labs가 조사한 사고에서는 공격자가 AI 기반 계정 복구 프로세스를 조작해 액세스 정보를 변경했으며, 코딩 에이전트가 프로덕션 데이터베이스와 그 백업을 삭제했습니다.
CISO에게 이 연구의 가치는 리더보드 순위를 요약하는 데 있는 것이 아니라, 모델 선정과 조달, 지속적인 보증, 그리고 AI 시스템에 허용할 접근 권한과 수행 작업을 통제하는 데 필요한 실질적인 교훈을 제공한다는 데 있습니다.
F5 Labs는 이러한 위험을 평가하기 위해 상호 보완적인 두 가지 지표를 사용합니다. F5 종합 AI 보안 지수(F5 CASI)는 프롬프트 인젝션 및 탈옥 공격에 대한 저항력을 평가하고, F5 에이전틱 저항 점수(F5 ARS)는 에이전틱 시나리오에서 지속적으로 이루어지는 다단계 공격에 대한 저항력을 평가합니다. 두 지표 모두 0점에서 100점까지이며, 점수가 높을수록 저항력이 강하다는 의미입니다.
“F5의 연구에 따르면 성능이 비슷한 모델이라도 보안 프로필은 크게 다를 수 있으며, 이러한 프로필은 배포 후 달라질 수 있습니다. 또한 유용한 기능이 새로운 공격 경로를 만들 수 있고, 과도한 권한은 모델 수준의 취약점을 비즈니스 사고로 확대할 수 있습니다.”
권한은 모델 위험을 비즈니스 영향으로 전환합니다
모델 수준의 취약점은 주변 시스템이 중대한 결과를 초래할 수 있는 작업을 허용할 때 비즈니스 사고로 이어집니다. 안전하지 않은 응답을 생성하는 모델은 위험을 초래합니다. 코드, 자격 증명, 계정 복구 워크플로 또는 프로덕션 데이터에 연결된 모델은 실제 사고를 일으킬 수 있습니다.
F5 Labs가 조사한 한 사례에서는 코딩 에이전트가 프로덕션 데이터베이스와 그 백업을 삭제했습니다. 또 다른 사례에서는 공격자들이 AI 기반 계정 복구 프로세스를 조작해 유명 소셜 미디어 계정의 액세스 정보를 변경했습니다. 핵심적인 문제는 단지 AI가 잘못된 결론을 내렸다는 데 있지 않았습니다. 주변 시스템이 그 결론을 중대한 영향을 미치는 조치로 이어지게 허용했다는 점이었습니다.
The JadePuffer 랜섬웨어 작전은 공격자의 관점에서도 이 점을 분명히 보여주었습니다. 사람이 피해자를 선정하고 자격 증명을 제공하며 인프라를 구축했지만, 에이전트는 정찰, 익스플로잇, 측면 이동, 암호화의 주요 단계를 자동화했습니다. 완전한 자율성은 필요하지 않았습니다. 부분적인 자동화만으로도 이미 필요한 시간과 기술, 노력을 줄일 수 있었습니다.
CISO에게 당면한 위험은 자율성뿐만 아니라 권한에도 있습니다. AI 에이전트는 권한 범위가 엄격히 제한된 자격 증명, 제한된 도구 접근, 지속적인 모니터링, 영향력이 큰 작업에 대한 독립적인 승인을 적용해 특권 ID로 관리해야 합니다. 다음으로 살펴볼 문제는 공격자가 이러한 시스템을 유용하게 만드는 본래의 동작 특성을 어떻게 악용하는가입니다.
유용한 기능이 공격 경로를 만든다
F5 Labs 연구에 따르면 공격자들은 기업이 AI 시스템에서 적극적으로 원하는 동작을 반복적으로 악용했습니다. 개발자 역할 공격은 모델이 권한이 부여된 지침을 해석하는 방식을 노렸습니다. 편향 탈옥은 인구통계학적 프레이밍을 사용해 거부 동작의 불일치를 드러냈으며, 주제 연결은 대화의 연속성을 이용해 모델이 정상적인 주제에서 유해한 요청으로 점진적으로 넘어가도록 했습니다.
Adversarial Tales는 유해한 절차를 허구의 서사에 삽입하고, 노골적으로 악의적인 요청에 응답하는 대신 해당 이야기를 분석하도록 모델에 요구함으로써 동일한 패턴을 확장했습니다. 9개 제공업체의 최첨단 모델 26개를 대상으로 이 기법은 평균 71.3%의 공격 성공률을 기록했습니다.
이러한 공격은 지시 이행, 맥락적 추론, 역할 인식, 콘텐츠 분석 등 합법적인 기업 활용 사례를 뒷받침하는 역량을 표적으로 삼았습니다. 이는 유용한 기능이 AI의 공격 표면을 어떻게 확대할 수 있는지를 보여줍니다. 공격자가 악의적인 의도는 그대로 유지하면서 제시 방식만 바꿀 수 있다면, 정적 필터와 알려진 탈옥 기법 라이브러리만으로는 대응하기 어려울 것입니다.
따라서 유용한 동작이 조작의 경로를 열 수 있으며, 권한과 접근 범위는 잠재적인 비즈니스 영향을 좌우합니다. 조작 가능성은 모델 자체의 복원력에도 달려 있으며, 성능만으로 이를 판단하기는 어렵습니다.
역량만으로는 회복탄력성을 예측할 수 없다
F5 Labs의 테스트 결과, 기능이 유사한 모델도 보안 순위에서는 정반대에 위치할 수 있으며, 같은 제품군에 속한 모델도 매우 다르게 작동할 수 있는 것으로 나타났습니다.
가장 명확한 사례는 Qwen3.5에서 나타났습니다. 20억 개의 매개변수를 가진 모델은 F5 CASI에서 1.28점을 기록한 반면, 40억 개의 매개변수를 가진 버전은 80점을 기록했습니다. 같은 제품군 이름을 사용하는 두 모델 간 점수 차이가 거의 79점에 달한 것입니다.
최신 테스트에서도 이러한 패턴이 재확인되었습니다. 성능이 비교적 비슷한 플래그십 모델들의 F5 CASI 점수는 93.08에서 16.25까지 큰 차이를 보였습니다. F5 ARS 데이터는 또 다른 측면을 보여줍니다. Qwen3.5-4B는 F5 ARS에서 91.04점을 기록했지만 F5 CASI에서는 58점이었고, 평균 성능은 16%였습니다. 이러한 차이는 F5 CASI, F5 ARS, 성능을 서로 구별되는 상호 보완적 지표로 해석해야 하는 이유를 보여줍니다.
CISO에게 역량 벤치마크는 모델이 작업을 완료할 수 있는지를 보여줄 뿐, 이를 안전하게 수행할 수 있는지까지 보여주지는 않습니다. 모든 모델과 버전은 조달 과정과 배포 기간 전반에 걸쳐 개별적으로 평가해야 합니다. 그러나 모델 선택은 첫 번째 결정에 불과하며, 보안팀은 복원력이 시간의 흐름에 따라 어떻게 변화하는지도 고려해야 합니다.
AI 보안 태세는 배포 후에도 달라질 수 있습니다
모델의 복원력은 고정되어 있지 않습니다. F5 Labs의 관찰에 따르면 한 모델은 한 달 만에 F5 CASI 점수가 29점 넘게 하락한 반면, 다른 모델은 조사 기간 동안 55점 넘게 변동했습니다. 다른 릴리스들은 비교적 안정적인 상태를 유지했으며, 이에 따라 일관성 자체도 위험을 판단하는 요소가 됩니다.
제공업체는 고객에게 표시되는 모델 이름을 변경하지 않고도 시스템 프롬프트, 분류기 및 안전 제어 기능을 업데이트할 수 있습니다. 따라서 모델이 겉보기에는 그대로인 것처럼 보여도 보안 태세는 크게 달라졌을 수 있습니다.
이는 전통적인 패치 적용 문제가 아닙니다. 새로운 모델 이름이나 눈에 띄는 배포 이벤트 없이도 모델의 보안 상태가 바뀔 수 있으므로, 특정 시점의 승인만으로는 충분하지 않습니다. 보안 팀은 공급자 업데이트, 구성 변경 및 애플리케이션의 중대한 변경 이후 모델을 재평가하고, 주변 통제 조치가 계속 효과적으로 작동하는지 지속적으로 검증해야 합니다.
이러한 변동성 때문에 지속적인 보증이 필수적이지만, 평가만으로는 충분하지 않습니다. CISO는 AI 시스템에 허용되는 접근 범위와 수행 가능한 작업도 통제해야 합니다.
CISO가 지금 해야 할 일
이 연구가 주는 가장 분명한 시사점은 권한이 영향력을 좌우한다는 것입니다. CISO는 AI 시스템에 허용된 접근 범위와 수행 가능한 작업에 따라 이를 관리하는 동시에, 관련 모델과 통제 체계 및 시스템을 지속적으로 평가해야 합니다.
- AI 에이전트를 권한이 부여된 ID로 취급하세요. 자격 증명, 도구, 데이터 및 프로덕션 시스템에 대한 접근 권한을 파악하고 제한하세요. 영향이 큰 작업에는 독립적인 승인을 요구하고, 중대한 결과를 초래할 수 있는 모든 단계를 기록하세요.
- 전체 AI 시스템을 지속적으로 평가하세요. 조달 과정과 배포 전반에 걸쳐 모든 모델과 버전을 개별적으로 평가하고, 제공업체 또는 구성이 변경된 후에는 재평가하며, 모델뿐만 아니라 게이트웨이, 패키지, 플러그인, 워크플로, ID 및 통합도 테스트하세요.
F5 Labs의 AI 복원력 측정 방법
F5 CASI와 F5 ARS는 영구적인 안전 인증이 아니라 비교 평가 지표입니다. 결과는 정확한 모델 버전, 평가 날짜, 사용 목적 및 관련 통제 조치와 함께 해석해야 합니다.
이 연구들을 종합하면 서로 연결된 위험의 연쇄가 드러납니다. 즉, 역량만으로는 복원력을 예측할 수 없고, 복원력은 배포 후 달라질 수 있으며, 유용한 기능이 AI 공격 표면을 확대할 수 있고, 과도한 권한은 모델의 취약점을 비즈니스 사고로 이어지게 할 수 있습니다.
CISO가 고민해야 할 문제는 더 이상 AI 모델이 조작될 수 있는지 여부에만 국한되지 않습니다. 조작이 성공했을 때 주변 시스템이 해당 모델에 어디까지 허용할 것인지가 핵심입니다.
자세히 알아보기
- 최신 F5 CASI 및 F5 ARS AI 보안 리더보드를 살펴보고 모델의 복원력을 비교하며 시간에 따른 AI 보안 태세의 변화를 추적하세요.
- See how F5 AI Red Team이 조직에서 실제 공격을 가정해 모델, 애플리케이션 및 에이전트를 테스트하는 데 어떻게 도움이 되는지 알아보세요.
- 엔터프라이즈 AI 애플리케이션, 모델 및 에이전트 전반에 걸쳐 지속적인 가시성, 거버넌스 및 보호를 제공하는 F5 AI Security Platform을 살펴보세요.
작성자 소개
Malcolm Heath는 F5 Labs의 수석 위협 연구원입니다. 그는 대기업과 소기업을 아우르는 여러 회사에서 인시던트 대응, 프로그램 관리, 침투 테스트, 코드 감사, 취약점 연구 및 익스플로잇 개발 업무를 수행해 왔습니다. F5 Labs에 합류하기 전에는 F5 SIRT에서 선임 보안 엔지니어로 근무했습니다.
Malcolm Heath의 다른 블로그 게시물
Louise Scully는 F5에서 AI 보안 및 위협 인텔리전스 제품 마케팅을 담당하는 시니어 매니저입니다. AI 보안 및 엔터프라이즈 기술 분야에서 제품 마케팅, 제품 관리, 시장 진출 전략, 커뮤니케이션, 사고 리더십, 카테고리 개발 등 폭넓은 경력을 쌓았습니다. F5에 합류하기 전에는 CalypsoAI와 Artomatix에서 마케팅을 총괄하며 AI 기술과 연구 성과의 시장 출시를 이끌었습니다.
Louise Scully의 다른 블로그 게시물관련 블로그 게시물
추론 경로가 곧 트래픽 경로다: AI 보안이 자리해야 할 곳
이제 AI 트래픽에는 의도와 데이터, 작업이 담깁니다. AI 보안을 적용하는 데 추론 경로가 가장 중요한 지점이 된 이유를 알아보세요.
최전선 AI를 네트워크 경계에서 차단하기: 인라인 제어가 Mythos급 모델에 맞서는 핵심 우위인 이유
포스트-Mythos 시대에 사이버 방어가 어떻게 변화했으며, 조직이 통제 지점을 바꿔야 하는 이유를 알아봅니다.
애플리케이션 딜리버리 컨트롤러가 다시 전략적 의제로 떠오르고 있습니다
AI로 인해 애플리케이션 제공의 중요성이 더욱 커지고 있습니다. F5의 Nirav Shah가 새로운 Gartner® ADC 연구와 이것이 엔터프라이즈 인프라 의사 결정에 미치는 영향에 대해 설명합니다.
증거로 입증하는 AI 보안: Gartner SRM에서 선보일 내용
Gartner SRM에서의 세션을 앞두고, F5의 제품 마케팅 담당 수석 부사장이 F5가 세 가지 실질적인 단계를 통해 조직의 AI 보안을 어떻게 지원하는지 설명합니다.
파이프라인 속도 저하 없이 AI 데이터 파이프라인을 안전하게 보호하세요
AI 데이터 파이프라인 보안은 선택 사항이 아닙니다. 그 점은 분명합니다. 하지만 이를 제대로 보호하는 방법은 훨씬 불분명하며, 훨씬 더 어려운 과제입니다.
AI 스토리지에 새로운 로드 밸런싱 접근 방식이 필요한 이유
AI 워크로드에는 새로운 관점으로 설계된 스토리지가 필요합니다. AI 특유의 데이터 액세스 패턴은 레거시 인프라에 내재된 심각한 병목 현상과 비효율성을 여실히 드러냅니다.