CISO가 AI 보안 위험을 측정하는 방법

Lee Ennis데이터 사이언스 수석 매니저 | F5

Louise Scully수석 관리자, 제품 마케팅, AI 보안 및 위협 인텔리전스 | F5

AI 보안 위험은 이제 CISO가 정책만으로 관리하기가 점점 더 어려워지고 있습니다. 조직에서 더 많은 AI 모델과 AI 애플리케이션, 에이전트형 워크플로를 도입함에 따라 보안 리더는 어떤 모델이 사용하기에 적합한지, 어떤 공급업체가 위험을 초래할 수 있는지, 그리고 AI 시스템이 실제 위협에 노출되었을 때 어떻게 작동하는지를 더욱 명확하게 평가할 수 있는 방법이 필요합니다.

바로 이 지점에서 측정이 중요해집니다. 종합 AI 보안 지수(CASI)와 에이전틱 저항 점수(ARS)를 비롯한 F5의 AI 보안 벤치마크는 조직이 AI 모델의 위험을 평가하고, AI 보안 태세를 비교하며, 적대적 공격 상황에서 모델과 에이전틱 시스템이 어떻게 작동하는지 파악할 수 있도록 지원합니다. 이러한 벤치마크를 F5 Labs가 지속적으로 제공하는 AI 위협 인텔리전스와 결합하면, CISO는 모델 선정, 공급업체 거버넌스, 런타임 보호 및 지속적인 AI 위험 평가를 위한 더욱 탄탄한 근거를 확보할 수 있습니다.

이는 많은 AI 보안 관련 의사결정이 모델이 프로덕션 환경에 도달하기 훨씬 전에 이루어지기 때문에 중요합니다. AI 시스템이 실제 운영에 들어갈 무렵이면 조직은 이미 모델을 선정하고, 공급업체를 승인하고, 아키텍처를 정의하고, 데이터 흐름을 매핑하고, 도구를 연결하고, 시스템 접근 권한까지 부여했을 수 있습니다. 런타임 제어는 여전히 필수적이지만, 앞선 단계에서 더 나은 의사결정을 바탕으로 구축될 때 더욱 강력해집니다.

CISO에게 이제 중요한 것은 AI가 배포된 후 이를 어떻게 보호할 것인가만이 아닙니다. 조달과 모델 선정부터 배포, 모니터링, 지속적인 테스트에 이르는 전체 수명 주기 전반에서 AI 위험을 어떻게 측정 가능하게 만들 것인가가 핵심입니다.

AI 위험은 런타임 이전부터 시작됩니다

AI 보안은 흔히 런타임 보호의 맥락에서 논의됩니다. 즉, AI 시스템이 프로덕션 환경에 배포된 후 프롬프트를 모니터링하고, 출력을 제어하며, 오용을 방지하는 것입니다. 이러한 통제는 매우 중요하지만 AI 보안 수명 주기의 일부일 뿐입니다.

AI 위험은 런타임에만 국한된 문제가 아닙니다. 조달, 공급업체 거버넌스, 아키텍처의 문제이기도 합니다. 보안 평가가 배포 후에만 이루어진다면 CISO는 프로세스 초기에 줄이거나 이의를 제기하거나 피할 수 있었던 위험까지 관리해야 할 수 있습니다. 목표는 AI 도입 속도를 늦추는 것이 아닙니다. 조직이 감수하는 위험을 더욱 명확하게 파악하면서 더 빠르게 나아갈 수 있도록 돕는 것입니다.

최근 연구 결과가 보여주는 것

F5 Labs는 매월 CASI 및 ARS 리더보드와 함께 AI 보안 위협 인텔리전스를 발표하여 모델, 에이전트 및 생태계 위험이 어떻게 변화하고 있는지 추적합니다. 2026년 5월 F5 Labs 연구는 CISO가 AI 위험을 바라보는 방식에 더 광범위한 변화가 필요함을 시사합니다. 이러한 연구 결과는 연구자만을 위한 기술적 신호가 아니라, 모델 승인, 공급업체 검토, 정책 수립, 프로덕션 환경으로 전환되는 AI 애플리케이션 보호를 담당하는 보안 리더에게 실질적인 교훈을 제공합니다.

첫 번째 교훈은 이제 모델 선택이 보안과 직결된 의사 결정이라는 점입니다. 5월 CASI 분석에서는 Qwen3-2B와 Qwen3-4B 간 78점 차이를 비롯해 Qwen 모델 제품군 전반에서 보안 태세에 큰 차이가 있는 것으로 나타났습니다. CISO가 얻어야 할 시사점은 분명합니다. 모델 이름만 아는 것으로는 충분하지 않습니다. 크기, 버전, 구성 및 배포 방식에 따라 위험 프로필이 달라질 수 있습니다.

더 작거나 비용이 저렴한 모델이 특정 작업에서 충분한 성능을 발휘한다면 매력적인 대안처럼 보일 수 있습니다. 하지만 해당 모델의 보안 태세가 실질적으로 다르다면 보안팀은 교체에 이의를 제기하거나 이를 중단해야 할 수도 있습니다. 객관적인 테스트와 비교 점수, 그리고 적대적 조건에서 각 모델의 성능을 명확히 비교한 결과가 있다면 이러한 결정을 더욱 확신 있게 뒷받침할 수 있습니다.

두 번째 교훈은 정적인 정책으로는 포착할 수 없는 방식으로 AI의 안전 동작이 무너질 수 있다는 점입니다. 5월의 위협 인텔리전스에서는 의도된 통제를 우회하도록 설계된 탈옥 기법을 비롯해 모델 보호 장치의 한계를 계속 시험하는 적대적 기법이 부각되었습니다. CISO가 주목해야 할 핵심은 공격이 진화함에 따라 AI 보안 테스트도 함께 발전해야 한다는 것입니다. 한 테스트에서는 안전해 보이는 모델도 다른 테스트에서는 실패할 수 있기 때문입니다.

세 번째 교훈은 이제 AI 공급망 위험도 AI 보안의 일부라는 점입니다. 5월 위협 인텔리전스에서는 AI 관련 개발 워크플로, 패키지 생태계, CI/CD 파이프라인, 레지스트리, AI 기반 개발자 도구 전반의 위험이 지적되었습니다. 이들 위험의 공통된 핵심은 신뢰입니다. 즉, 신뢰할 수 있다고 여겨지는 패키지, 자동화, 레지스트리, 도구, 실행 경로가 문제가 될 수 있습니다. CISO에게 이는 AI 위험이 프롬프트, 출력 또는 런타임의 모델 동작에서만 발생하는 것이 아니라는 의미입니다. AI 애플리케이션을 지원하는 공급업체, 도구, 패키지, 파이프라인, 자동화 계층에서도 위험이 발생할 수 있습니다.

이러한 교훈은 모두 같은 결론을 가리킵니다. CISO는 AI 정책 수립에서 AI 측정으로 나아가야 합니다. 정책은 무엇이 이루어져야 하는지를 규정하지만, 측정은 보안 팀이 실제로 무슨 일이 일어나고 있는지, 어떤 위험이 유입되고 있는지, 어디에서 의사결정을 바꿔야 하는지를 파악하는 데 도움이 됩니다.

모델 리스크가 거버넌스보다 빠르게 증가하고 있습니다

AI 도입이 가속화되면서 조직은 신속하게 움직이고 비용을 절감하는 동시에 비즈니스 전반에서 더 다양한 사용 사례를 지원해야 한다는 압박을 받고 있습니다. 각 팀은 성능, 지연 시간, 가용성, 배포 용이성, 가격을 기준으로 모델을 비교하고 있습니다. 하지만 기능과 비용만으로는 전체 상황을 파악할 수 없습니다. 비즈니스 관점에서 실용적인 대안으로 보이는 모델이라도 같은 모델 제품군에 속해 있더라도 서로 다른 수준의 AI 보안 위험을 초래할 수 있습니다.

공급업체는 잘 알려진 모델을 사용한다고 말할 수 있습니다. 내부 팀은 효율성을 높이기 위해 더 작은 모델로 전환한다고 할 수 있습니다. 제품 팀은 같은 계열의 모델들이 대체로 비슷하게 작동할 것이라고 생각할 수 있습니다. 보안 관점에서 이러한 가정은 위험할 수 있으며, 특히 해당 모델이 민감한 데이터, 고객 대상 서비스, 비즈니스 핵심 워크플로 또는 사용자를 대신해 작업을 수행할 수 있는 에이전트형 시스템과 연결된 경우에는 더욱 그렇습니다.

CISO에게는 모델명만으로는 알 수 없는 심층적인 근거가 필요합니다. 적대적 공격 상황에서 모델이 어떻게 작동하는지, 대안과 비교해 어떤 차이가 있는지, 그리고 제안된 변경 사항이 조직의 위험 수준에 실질적인 영향을 미치는지를 파악해야 합니다.

CASI는 모델 위험을 조기에 측정할 수 있게 합니다

CASI는 조직이 AI 모델을 배포하기 전에 기본 보안 수준을 비교할 수 있도록 해줍니다. 이를 통해 CISO는 모델 보안을 주관적인 논의의 대상이 아닌, 의사 결정에 활용할 수 있는 측정 가능한 요소로 전환할 수 있습니다.

실제로 CASI는 여러 거버넌스 워크플로를 지원합니다. 보안 팀은 이를 통해 특정 모델이 해당 사용 사례에 적합한지 평가할 수 있습니다. 예를 들어 위험도가 낮은 내부 요약 작업에 사용되는 모델은 고객 데이터, 비즈니스 핵심 워크플로 또는 자율형 에이전트 시스템에 연결된 모델과 동일한 수준의 검토가 필요하지 않을 수 있습니다. 또한 보안 팀이 어떤 모델이 사용되고 있는지, 해당 모델이 어떻게 테스트되었는지, 그리고 그러한 선택을 뒷받침하는 근거가 무엇인지 더욱 명확한 기준에 따라 확인할 수 있도록 하여 조달 및 공급업체 거버넌스를 강화할 수 있습니다.

기업이 더 저렴한 모델을 도입하려는 경우, 벤치마킹을 통해 이러한 변경이 허용 가능한지, 추가적인 통제가 필요한지, 또는 위험이 이점보다 큰지를 판단할 수 있습니다.

위협 인텔리전스로 생태계 위험 파악

최근 위협 인텔리전스가 중요한 이유는 AI 보안 위험이 모델 자체에만 국한되지 않는다는 점을 보여주기 때문입니다. CISO가 가장 주목해야 할 양상은 위험이 개발자 워크플로, 패키지 생태계, CI/CD 파이프라인, 레지스트리, 자동화 계층, AI 기반 도구 등 AI를 둘러싼 시스템으로 확산되고 있다는 것입니다.

개발자는 패키지를 설치하고, 에이전트는 작업을 실행하며, CI/CD 파이프라인은 코드를 배포하고, 레지스트리는 종속성을 배포하며, AI 지원 도구에는 로컬 환경과 워크플로에 대한 접근 권한이 부여됩니다. 이러한 신뢰 경로를 관리하고 테스트하며 모니터링하지 않으면 AI 애플리케이션이 프로덕션 환경에 도달하기도 전에 위험이 유입될 수 있습니다.

CISO가 이 위협 인텔리전스에서 얻어야 할 교훈은 AI 거버넌스가 선택한 모델이나 그 주변에 적용된 런타임 통제뿐만 아니라 AI 개발을 지원하는 생태계까지 포괄해야 한다는 것입니다. 공급업체 검토 시에는 모델 출처, 개발 파이프라인, 패키지 거버넌스, 도구 권한, 종속성 관리에 대해 확인해야 합니다. 아키텍처 검토에서는 에이전트와 AI 지원 도구가 무엇에 접근하고 무엇을 실행할 수 있는지, 그리고 어느 단계에서 사람의 승인이 필요한지를 살펴봐야 합니다. CASI는 배포 전에 모델 수준의 위험을 평가하는 데 도움이 되며, ARS는 적대적 압박 상황에서 에이전트형 시스템이 어떻게 작동하는지 평가하는 데 도움이 됩니다.

ARS는 에이전트형 AI의 복원력을 측정합니다

조직이 AI 모델에서 AI 애플리케이션과 에이전트형 워크플로로 전환함에 따라 측정 과제는 더욱 복잡해집니다. 개별적으로는 문제가 없어 보이는 모델도 도구, API, 데이터 소스, 비즈니스 로직 또는 실제 작업을 수행할 수 있게 하는 시스템과 연결되면 위험이 달라질 수 있습니다.

ARS는 조직이 지속적인 적대적 압박 속에서 에이전트형 시스템이 어떻게 작동하는지 평가할 수 있도록 지원함으로써 측정 범위를 이러한 운영 계층까지 확장합니다. 이러한 시스템은 단순히 결과물을 생성하는 데 그치지 않고, 의사 결정을 내리거나 도구를 호출하고, 데이터를 검색하며, 워크플로를 실행하거나 비즈니스 프로세스에 영향을 미칠 수 있습니다.

이는 AI 보안 테스트가 통제된 평가에서 개별 모델이 어떻게 작동하는지만이 아니라, 시간이 지남에 따라 그리고 공격을 받는 상황에서 시스템이 어떻게 동작하는지도 고려해야 한다는 의미입니다. ARS는 CISO가 에이전트형 시스템이 어떤 부분에서 더 높은 복원력을 보일 수 있는지, 어디에 추가적인 통제가 필요할 수 있는지, 그리고 실제 환경의 적대적 기법에 노출되었을 때 AI 애플리케이션이 어떻게 동작하는지를 파악하도록 지원합니다.

정책에서 측정 가능한 실행으로

다음 단계는 처음부터 AI 관련 의사결정에 측정 체계를 내재화하는 것입니다. AI 보안은 모델 평가와 공급업체 검토부터 아키텍처 설계, 배포, 런타임 보호, 지속적인 테스트 및 모니터링에 이르기까지 전체 수명 주기의 일부가 되어야 합니다. AI 위험은 시간이 지남에 따라 변화하므로 이러한 수명 주기 관점이 중요합니다. 새로운 공격 기법이 등장하고, 모델이 업데이트되며, 공급업체가 기반 시스템을 변경하고, 에이전트형 워크플로가 새로운 악용 경로를 만들어 내기 때문입니다.

CISO에게 이는 AI 보안을 일회성 승인 절차로 끝내서는 안 된다는 의미입니다. AI 보안은 전체 수명 주기에 측정과 테스트가 내재된 지속적인 관리 체계로 자리 잡아야 합니다.

AI 위험에 대한 방어 논리 구축

CISO는 끊임없이 변화하는 위험 환경을 관리하는 동시에 AI 도입을 지원해야 하는 과제를 안고 있습니다. 혁신을 촉진하는 한편, 이사회, 규제 기관, 고객 및 내부 이해관계자들이 제기하는 까다로운 질문에도 답해야 합니다.

어떤 모델의 사용이 승인되었나요? 어떤 공급업체가 AI 위험을 초래할 수 있나요? 어떤 사용 사례에 추가 테스트가 필요한가요? 비용이 더 저렴하거나 속도가 더 빠른 모델로 대체해도 되는 경우는 언제이며, 위험이 지나치게 커지는 경우는 언제인가요? 이러한 결정을 뒷받침하는 근거는 무엇인가요?

이는 단순히 기술적인 문제만은 아닙니다. 거버넌스, 조달, 비즈니스 리스크와 관련된 문제이기도 합니다. 그리고 이러한 문제에 답하려면 점점 더 객관적인 근거가 필요합니다.

가장 빠르게 성숙하는 조직은 비공식적인 AI 검토를 넘어 AI 의사결정 방식에 측정을 내재화하기 시작하는 조직일 것입니다. 이는 모델을 선정하기 전에 평가하고, 시스템을 확장하기 전에 테스트하며, 모델, 위협, 공급업체 및 사용 사례의 변화에 따라 위험을 지속적으로 재평가하는 것을 의미합니다.

CISO는 배포 단계에 이르러서야 AI 위험을 측정해서는 안 됩니다. 가장 효과적인 의사결정은 수명 주기의 더 이른 단계에서 이루어집니다. CASI, ARS 및 F5 Labs의 지속적인 AI 위협 인텔리전스를 결합하면 CISO는 전체 AI 수명 주기에 걸쳐 AI 보안 위험을 더 명확하게 파악하고, 더 타당하게 입증하며, 더 효과적으로 대응할 수 있습니다.

자세히 알아보려면 F5 Labs 연구를 살펴보세요.

작성자 소개

Lee Ennis데이터 사이언스 수석 매니저 | F5

Lee Ennis는 F5에서 AI 데이터 과학 및 연구팀을 이끌며, 기업이 대규모 언어 모델(LLM)과 생성형 AI 시스템을 안전하게 배포하고 모니터링할 수 있도록 지원하는 고급 AI 보안 솔루션 개발에 주력하고 있습니다. 그의 팀은 머신러닝, 적대적 테스트, 모델 보증 분야의 전문성을 결합해 취약점을 식별하고 AI 기반 환경에 대한 신뢰를 강화합니다.

Lee Ennis의 다른 블로그 게시물

Louise Scully수석 관리자, 제품 마케팅, AI 보안 및 위협 인텔리전스 | F5

Louise Scully는 F5에서 AI 보안 및 위협 인텔리전스 제품 마케팅을 담당하는 시니어 매니저입니다. AI 보안 및 엔터프라이즈 기술 분야에서 제품 마케팅, 제품 관리, 시장 진출 전략, 커뮤니케이션, 사고 리더십, 카테고리 개발 등 폭넓은 경력을 쌓았습니다. F5에 합류하기 전에는 CalypsoAI와 Artomatix에서 마케팅을 총괄하며 AI 기술과 연구 성과의 시장 출시를 이끌었습니다.

Louise Scully의 다른 블로그 게시물