모델을 넘어선 AI 보안: 기업이 주목해야 할 사항과 그 이유

AI는 빠르게 발전하고 있지만, 대부분의 기업은 실제 위험 영역 중 극히 일부만을 보호하고 있습니다. F5, AWS, Microsoft와 협력하여 작성된 이 NSS Labs 연구 보고서는 AI가 실험 단계를 넘어 프로덕션 환경에 도입될 때 가장 중요하게 고려해야 할 위협 벡터, 거버넌스 격차 및 역량 영역을 살펴봅니다.

목차

서론: AI 보안이 기업 리스크 문제인 이유

보안 분야에서 책임감 있는 AI의 핵심 원칙

모델 보안만으로는 충분하지 않은 이유

AI 보안 책임 범위 설정

새로운 위협 모델: 기존 보안 가정이 더 이상 통하지 않는 이유

실제로 중요한 역량 영역

입력 무결성 및 명령 제어

출력 위험 및 데이터 유출 관리

시스템 복원력 및 견고성

정책의 정확성과 상충관계 관리

보안이 중요한 의사결정을 위한 결정론적 검증

에이전트형 AI와 위임된 권한

관찰 가능성, 감사 및 포렌식

GRC 없는 AI 보안이 실패할 수밖에 없는 이유

결론: 엔터프라이즈 규모의 AI 거버넌스

파트 2 다운로드: 엔터프라이즈 AI 보안 평가: 모든 구매자가 답할 수 있어야 하는 질문

요약

인공지능은 기업 환경 전반에서 실험 단계를 넘어 실제 운영 환경에 빠르게 도입되고 있습니다. 생성형 AI 모델, 대화형 어시스턴트, 그리고 자율성이 점차 높아지는 에이전트 기반 시스템은 이제 고객용 애플리케이션, 내부 워크플로, 소프트웨어 개발 파이프라인 및 의사결정 지원 프로세스에 통합되어 있습니다. 이에 따라 AI 시스템의 장애는 이미 실질적인 비즈니스, 법률, 평판 및 운영상의 위험을 초래하며, 효과적인 거버넌스에도 중대한 과제가 되고 있습니다.

AI 보안에 대한 논의는 대부분 AI 모델 자체, 즉 모델이 어떻게 학습되고 어떤 데이터를 포함하며 통제된 조건에서 어떻게 작동하는지에 집중됩니다. AI 모델 내부의 보안이 매우 중요한 것은 분명하지만, 이는 전체 위험 영역의 일부만 다룰 뿐입니다. 프로덕션 환경에서 가장 심각한 취약점은 모델 외부, 즉 모델이 연결된 데이터, 호출할 수 있는 도구, 상속받은 권한, 그리고 모델의 동작을 제한하는 거버넌스 관행(또는 그 부재)에서 나타나는 경우가 많습니다.

본 백서는 기업이 AI 보안 솔루션을 평가할 때 가장 중점적으로 고려해야 할 영역과 그러한 우려가 중요한 이유를 설명합니다. 특정 제품이나 테스트 방식에 초점을 맞추는 대신, 기업 위험 관리, 거버넌스 및 책임성의 관점에서 역량 중심으로 AI 보안을 조명합니다. 실제 AI 장애로 인해 규제 기관, 법률 당국, 고객 또는 이사회의 검토 과정에서 원치 않는 문제점이 드러나기 전에 최고정보보호책임자(CISO), 기업 구매 담당자, 거버넌스·위험·규정 준수(GRC) 책임자가 어떤 질문을 해야 하는지 구체적인 지침을 제공하는 것이 목적입니다.

서론: AI 보안이 기업 리스크 문제인 이유

기업 시스템 내 AI 활용이 빠르게 확산되면서, 이를 관리하기 위한 통제 체계를 구현해야 하는 담당자들이 상당한 어려움에 직면하고 있습니다. 각 사업 부문은 생산성 향상, 의사결정 자동화, 소프트웨어 개발 가속화, 차별화된 고객 경험 제공을 위해 AI 기반 기능을 도입하고 있으며, 이러한 시스템 중 상당수는 공식적인 보안, 위험 또는 거버넌스 검토가 이루어지기 훨씬 전에 배포되고 있습니다. 이처럼 빠른 도입 속도로 인해 혁신과 책임성 간의 격차가 점점 더 벌어지고 있습니다.

AI 모델 자체를 보호하는 것은 필수적이지만, 그것만으로는 충분하지 않습니다. 대부분의 기업은 이미 모델 계층에 직접 통제 조치를 적용하고 있습니다. 여기에는 학습 데이터 선별, 안전성 튜닝 및 정렬 기법 활용, 모델 접근 권한 제한, 사용량 제한, 내장된 콘텐츠 필터와 응답 거부 기능 활용 등이 포함됩니다. 이러한 조치는 모델의 출력 내용을 조정하고 명백한 오용을 줄여 주지만, 출력이 실시간 데이터와 상호 작용하고 작업을 실행하며 복잡한 권한 부여 체계 내에서 작동하는 실제 기업 환경에서 AI 시스템이 어떻게 운영되는지는 다루지 못합니다.

AI 보안의 맥락에서 책임 있는 AI(RAI)는 인공지능 시스템이 전체 수명 주기 동안 안전성, 보안성, 복원력 및 신뢰성을 유지하도록 보장하기 위한 포괄적인 거버넌스 및 수명 주기 프레임워크와 정책, 기술적 관행을 의미합니다. 이는 단순히 공격을 차단하는 데 그치지 않고, 인간의 감독을 유지하면서 의도치 않은 피해, 개인정보 침해 및 편향에도 시스템이 견고하게 대응하도록 보장합니다.

보안 분야에서 책임감 있는 AI의 핵심 원칙

보안 관점에서 구체적으로 살펴보면, RAI 프레임워크는 몇 가지 실질적인 통제 영역으로 구체화됩니다. 여기에는 AI 시스템이 오류, 예기치 않은 입력, 의도적인 적대적 공격에도 견딜 수 있도록 보장하는 것, 개인정보 보호와 데이터 보호를 위해 학습 및 배포 파이프라인을 안전하게 보호하는 것, 투명성과 감사 가능성을 유지하는 것, 그리고 허용되는 사용 범위와 책임 소재를 규정하는 거버넌스 프로세스를 수립하는 것이 포함됩니다.

RAI 프레임워크 내에서 모델 중심의 보안 기능은 다음과 같이 머신러닝에 특화된 특정 취약점을 선제적으로 완화합니다:

• 데이터 포이즈닝: 모델을 손상시키기 위해 학습 데이터를 조작하는 공격
• 모델 역추론/추출: 독점 모델을 탈취하거나 민감한 학습 데이터를 유출
• 적대적 공격: 입력에 작고 눈에 띄지 않는 변화를 주입하여 잘못된 결정을 유도하는 행위
• 프롬프트 인젝션: 생성형 AI를 속여 의도된 정책 및 지침의 경계를 우회하도록 하는 공격

이러한 모델 보안 통제는 기본적인 안전을 확보하는 데 필요하지만, 대부분 기업의 맥락을 고려하지 않은 채 작동하며 독립적 또는 외부 검증이 어려운 경우가 많습니다. 기업은 이러한 통제가 어떻게 구현되는지 또는 극단적인 조건에서 어떻게 작동하는지 충분히 파악하기 어려운 경우가 많습니다.

엔터프라이즈 환경에 배포할 때 AI 모델은 검색 계층, 엔터프라이즈 데이터 커넥터, ID 및 권한 부여 신호, 그리고 다운스트림 시스템의 상태를 크게 변경할 수 있는 도구 호출 기능을 포함하는 더 큰 시스템의 한 구성 요소일 뿐입니다. 엔터프라이즈의 위험 표면은 이러한 통합 요소와 이를 둘러싼 AI 시스템 구성 요소에 의해 좌우됩니다. 적절하게 정렬된 모델이라도 잘못된 데이터에 연결되거나, 과도한 도구 권한이 부여되거나, 정책이 일관되게 적용되지 않거나, 오용을 탐지하기에 모니터링이 불충분한 경우 안전하지 않게 사용될 수 있습니다.

바로 이 지점에서 외부 런타임 AI 보안 제어(다양하게는 AI 가드레일, AI 방화벽 또는 AI 보호 시스템이라고도 함)가 필수적입니다. 런타임 가드레일은 기업 위험이 현실화되는 애플리케이션 상호작용 시점에 보안 정책과 행동 경계를 적용하기 위해 모델 외부에 구현되는 구체적이고 기술적인 실시간 제어 수단입니다. 이러한 제어 수단은 사용자 신원, 데이터 민감도, 애플리케이션 상태, 거버넌스 요구사항을 비롯한 시스템 수준의 컨텍스트를 활용해 AI의 동작을 관찰하고 제한합니다. 런타임 제어는 감사 가능성, 복원력, 책임성을 확보하는 영역으로, 엔터프라이즈급 AI 보안의 기반을 형성합니다.

공급업체와 프레임워크마다 용어는 다르지만, 실질적인 요점은 간단합니다. 모델 보안은 모델 자체에 내재된 위험을 줄이고, 런타임 가드레일은 상호작용이 이루어지는 시점에 기업의 위험을 관리합니다.

모델 보안만으로는 충분하지 않은 이유

가장 기본적인 수준에서 모델 보안 안전장치는 악의적인 프롬프트를 차단하고, 허용되지 않는 콘텐츠를 필터링하며, 간단한 사용 규칙을 적용할 수 있습니다. 이러한 기능은 필수적이지만, 기업에 큰 영향을 미치는 많은 AI 장애는 규칙의 부재가 아니라 맥락, 복원력, 가시성의 부족에서 비롯됩니다.

예를 들어, AI 시스템이 정의된 모든 콘텐츠 정책을 준수하면서도 정보의 집계나 추론 또는 부적절한 맥락 결합을 통해 민감한 정보를 노출할 수 있습니다. 마찬가지로, 정상적인 상황에서는 올바른 규칙을 적용하는 시스템도 부하가 걸리거나 부분적인 서비스 중단 또는 종속성 장애가 발생하면 예측할 수 없는 방식으로 작동하지 않을 수 있습니다.

이러한 위험에 대응하려면 시스템 전반을 파악하고 거버넌스의 감독하에 작동하는 런타임 제어가 필요합니다. 여기에는 역할과 데이터 민감도에 따른 정책 적용, 도구 호출 및 위임된 권한의 제한, 예측 가능한 장애 모드 처리, 조사·감사·규정 준수를 뒷받침하는 증거 생성이 포함됩니다.

거버넌스, 관찰 가능성, 복원력이 뒷받침되지 않는다면 모델 보안만으로는 엔터프라이즈 규모로 운영되는 AI 시스템에 필요한 수준의 신뢰성을 확보할 수 없습니다. 따라서 가장 성숙한 조직은 AI 보안을 모델만의 문제가 아니라 시스템 및 거버넌스의 문제로 접근할 것입니다.

저자

Bob Walder - NSS Labs 수석 애널리스트
lan Foo - NSS Lab 최고기술책임자 겸 제품 담당 수석부사장

기여자

이 연구는 업계 전반의 보안, 클라우드 및 AI 분야 리더들과 협력하여 진행되었습니다.

Cameron Delano - 수석 솔루션 아키텍트, F5
Jeanette Hurr - 글로벌 솔루션 아키텍트, F5
Riggs Goodman III - AI 보안 및 개인정보 보호 부문 수석 솔루션 아키텍트, AWS
Raj Bagwe - 수석 솔루션 아키텍트, AWS
Zachary Riffle - 보안 아키텍트, Microsoft

AI 보안 책임 범위 설정

AI 서비스를 이용하는 조직은 맞춤형 모델을 구축하거나 처음부터 학습시키는 조직과 근본적으로 다른 위험에 직면합니다. 구현 범위를 파악하면 어떤 보안 통제를 조직 내부에서 관리하고 어떤 보안 통제를 제공업체가 관리할지 결정할 수 있습니다.

다섯 가지 구현 범위

1. 가장 기본적인 수준에서는 소비자용 AI 애플리케이션(예: ChatGPT, Claude, Gemini)의 거의 모든 보안 책임을 제공업체가 맡습니다. 제공업체는 모델 보안, 인프라 보호, 기본 안전장치 및 데이터 보호를 관리합니다. 조직은 허용 가능한 사용 정책을 수립하고, 사용자 액세스를 제어하며, 비즈니스 맥락에 맞게 결과물을 검증하는 데 중점을 둡니다. 보안 활동은 직원이 민감한 데이터를 입력하지 못하도록 방지하고 정책 위반 여부를 모니터링하는 데 집중됩니다.
2. AI 기능을 갖춘 엔터프라이즈 애플리케이션(예: Salesforce Einstein 또는 Microsoft Copilot)은 공동 책임 모델을 따릅니다. 공급자는 모델 보안, 애플리케이션 수준의 제어 및 통합 보안을 관리하고, 고객은 역할 기반 액세스, 데이터 분류 및 워크플로 권한을 관리합니다. 보안의 초점은 ID 통합, 데이터 거버넌스 및 적절한 사용을 입증하는 감사 로깅으로 이동합니다.
3. 조직은 사전 학습된 파운데이션 모델을 Amazon Bedrock이나 Azure OpenAI와 같은 플랫폼을 통해 배포할 때 훨씬 더 큰 보안 책임을 부담합니다. 공급자는 모델 보안과 인프라를 관리하지만, 고객은 프롬프트 엔지니어링, 검색 아키텍처, 출력 필터링 및 도구 권한을 책임집니다. 보안의 초점은 입력 무결성, 출력 위험 방지, 전체 시스템에 대한 포괄적인 관측 가능성으로 확대됩니다.
4. 미세 조정된 모델은 조직의 보안 부담을 더욱 가중합니다. 공급자는 인프라와 기본 모델의 보안만 관리하며, 고객은 학습 데이터 선별, 미세 조정의 안전성, 배포 제어 및 모든 런타임 보안을 관리합니다. 보안 활동에는 데이터 오염 방지, 모델 평가, 개발 및 프로덕션 수명 주기 전반에 걸친 포괄적인 가드레일이 포함되어야 합니다.
5. 가장 복잡한 수준에서는 자체 학습 모델에 대한 보안 책임이 거의 전적으로 조직에 있습니다. 제공업체는 인프라만 관리하며, 모델 개발, 학습 파이프라인 보안, 배포 및 런타임 제어의 모든 측면은 고객이 담당합니다. 보안은 데이터 수집부터 프로덕션 모니터링 및 인시던트 대응에 이르는 전체 수명 주기에 중점을 둡니다.

공동 책임 이해하기

구현 범위는 고객이 부담해야 할 보안 의무를 근본적으로 결정합니다. 소비자용 AI 애플리케이션에서는 대부분의 보안 책임을 제공업체가 부담하며, 조직은 직원들이 해당 서비스를 사용하는 방식을 관리하는 데 집중합니다. 엔터프라이즈 애플리케이션의 경우 제공업체가 기반 인프라를 보호하는 한편, ID 통합 및 데이터 거버넌스에 대한 고객의 책임이 커집니다. 사전 학습된 파운데이션 모델은 프롬프트 엔지니어링, 검색 아키텍처, 포괄적인 런타임 제어를 비롯한 상당한 보안 책임을 조직에 부여합니다. 마지막으로 미세 조정 모델과 자체 학습 모델에서는 학습 데이터 선별부터 프로덕션 모니터링 및 인시던트 대응에 이르기까지 거의 모든 보안 책임을 고객이 부담합니다.

이러한 공동 책임 모델은 기존의 클라우드 보안 운영 방식을 반영합니다. AI 보안 계획을 수립하기에 앞서 구현 범위를 명확히 파악하는 것이 매우 중요합니다. 구현 범위에 따라 내부적으로 구축해야 할 보안 역량, 공급자가 관리하는 영역, 공동 감독이 필요한 부분이 결정됩니다. 범위를 명확히 이해하고 적용하지 않으면 조직은 공급자가 이미 관리하는 통제에 과도하게 투자하거나 중대한 보안 공백을 방치할 수 있습니다.

새로운 위협 모델: 기존 보안 가정이 더 이상 통하지 않는 이유

기존 애플리케이션 보안은 입력 범위가 제한되고, 실행 경로를 예측할 수 있으며, 결과가 결정적이라는 가정을 기반으로 합니다. AI 시스템은 이러한 가정을 모두 벗어나며, 종종 이를 무너뜨립니다. AI 시스템은 구조화되지 않은 자연어 입력을 받아 비결정적인 응답을 생성하고, 여러 차례 이어지는 대화에서도 맥락을 유지하는 경우가 많습니다. 주변 애플리케이션이 잘 설계되어 있더라도 모델은 확률적 동작을 유발하므로, 기존의 위협 모델링만으로는 이를 처리하기 어렵습니다.

현대의 AI 배포 환경은 단순히 “프롬프트를 입력하면 응답이 출력되는” 방식보다 훨씬 복잡합니다. 실제 기업 환경에서 AI 시스템은 일반적으로 내부 문서, 데이터베이스, API 및 외부 서비스와 연결됩니다. 대표적인 아키텍처 중 하나는 검색 증강 생성(RAG)으로, 모델이 런타임에 외부 콘텐츠(예: 정책 문서, 지식 베이스 문서 또는 고객 기록)를 동적으로 가져와 모델의 학습 데이터만으로 가능한 것보다 복잡한 질문에 더 정확하게 답변할 수 있도록 합니다.

많은 배포 환경에서는 한 단계 더 나아가, 사람의 직접적인 개입이나 지시 없이 다음에 수행할 단계를 결정할 수 있는 자율형 또는 에이전트 기반 시스템을 사용합니다. 이러한 AI 에이전트는 텍스트 생성 이상의 기능을 수행하도록 AI의 역량을 확장하는 프로그래밍 인터페이스인 외부 도구와 상호 작용하여 수행할 작업을 결정합니다. 도구는 AI 시스템이 외부 시스템과 상호 작용하고 작업을 수행할 수 있게 해 주는 개별 함수로, 데이터베이스 쿼리, REST API 호출, 코드 실행, 파일 시스템 액세스, 엔터프라이즈 애플리케이션 호출 등이 이에 해당합니다. 응답에 참고할 맥락 정보를 가져오는 검색 증강 생성(RAG)과 달리, 도구를 사용하면 AI 시스템이 실제 작업을 수행하고 다운스트림 시스템의 상태를 변경할 수 있습니다.

각 도구는 고유한 권한과 ‘피해 범위’를 지닌 보안 경계를 나타냅니다. AI 에이전트가 도구에 액세스하면 해당 도구가 지원하는 모든 작업을 수행할 수 있는 권한을 그대로 부여받습니다. 이러한 기능은 효율성과 확장성을 높이는 한편, 많은 보안 팀에 생소하고 기존 통제 수단으로 관리하기 어려운 방식으로 공격 표면을 확대합니다.

“하늘 아래 새로운 것은 없다”라는 옛말이 있습니다. 이는 삶의 다른 모든 것과 마찬가지로 보안 위협에도 똑같이 적용됩니다. 따라서 AI 보안 엔지니어는 AI에 특화된 공격 표면뿐만 아니라 버퍼 오버플로와 네트워크 수준의 탐지 회피 같은 기존 공격 표면도 충분히 인지해야 합니다. 동시에 AI 시스템에 대한 위협이 전통적인 익스플로잇의 범위를 훨씬 넘어선다는 점도 분명합니다.

여기에는 명령 조작(프롬프트 인젝션), 검색된 콘텐츠를 통한 컨텍스트 오염, 생성된 출력을 통한 데이터 유출, 도구 사용이 가능한 시스템에서 위임된 권한의 악용, 그리고 기밀성이 아닌 신뢰성을 훼손하는 성능 저하 공격이 포함됩니다. 예를 들어, AI가 사회보장번호(SSN)를 인코딩하거나 난독화할 수 있는 방법은 얼마나 다양할까요? 더 나아가, 추출 대상인 개인 식별 정보(PII)의 당사자 역할을 맡아 달라는 요청까지 받을 수 있는 시스템이라면, 애초에 AI를 속여 그러한 정보를 누설하게 만드는 방법은 또 얼마나 다양할까요?

이러한 위협 패턴은 공신력 있는 독립 시험 기관의 표준화된 테스트 프레임워크와 방법론에 문서화되어 있습니다. 이러한 프레임워크는 기업이 이해하고 대응해야 할 AI 특화 취약점을 체계적으로 분류해 제공합니다.

실제로 중요한 역량 영역

엔터프라이즈 배포 환경을 위한 AI 보안 솔루션을 평가할 때는 실제 위험과 직접적으로 연관된 소수의 핵심 역량 영역에 집중해야 합니다. 이러한 역량은 프로덕션 환경에서 AI 시스템이 사용되는 방식과 실제로 장애가 발생하는 양상을 반영하며, 독립적인 통제 수단이 아니라 서로 통합된 계층으로 작동해야 합니다.

AI 모델은 자체적으로 엔터프라이즈 보안 경계를 안정적으로 적용할 수 없습니다. AI 모델은 설계상 입력을 지시로 간주하며, 기본적으로 감사 가능한 액세스 제어 체계를 갖추고 있지 않기 때문입니다. 단일 계층 방어는 공격자가 악용할 수 있는 허점을 만듭니다. 출력 검증 없이 입력 무결성만 강화하면 RAG 포이즈닝을 통한 간접적인 데이터 유출이 가능해지고, 관측 가능성 없이 출력만 필터링하면 정책 변화를 감지할 수 없으며, 시스템 복원력 없이 에이전트 제어만 적용하면 스트레스 상황에서 제대로 작동하지 않습니다. 각 기능을 개별적으로 구현한 조직은 공격자가 한 계층을 우회한 뒤 후속 방어 체계의 부재를 악용할 경우 연쇄적인 장애를 겪게 됩니다. 성숙한 AI 보안 아키텍처는 이러한 기능을 통합 방어 시스템을 구성하는 상호 의존적 요소로 취급합니다.

이러한 기능은 거버넌스 문제와도 자연스럽게 연결되어, 무엇이 허용되고 금지되는지, 무엇을 모니터링하고 기록하는지, 사후에 무엇을 방어할 수 있는지와 같은 질문에 대한 답을 제공합니다.

입력 무결성 및 명령 제어

AI 시스템은 지시, 맥락, 표현 방식에 특히 민감합니다. 입력을 엄격하게 구문 분석하고 검증하는 기존 애플리케이션과 달리, AI 시스템은 설계상 자연어를 유연하게 해석합니다. 이러한 유연성은 강력하고 새로운 활용 사례를 가능하게 하지만, 동시에 조작의 여지를 만들기도 합니다.

악의적인 행위자들은 다음과 같은 다양한 위협 경로를 통해 이러한 유연성을 점점 더 악용할 것입니다:

• 프롬프트 인젝션: “이전 지시를 무시하라”, “관리자처럼 행동하라”, “시스템 규칙을 공개하라” 등의 지시를 내려 정책을 직접 우회하려는 시도입니다.
• 간접 명령 삽입: 시스템이 나중에 처리하는 웹 페이지, PDF, 내부 위키 페이지 또는 고객 지원 티켓과 같은 콘텐츠에 악의적인 명령을 삽입하는 방식입니다.
• 컨텍스트 조작: 신뢰할 수 없는 입력을 신뢰할 수 있는 정책으로 오인하거나 시스템 지침보다 우선시하도록 대화의 맥락을 조성하는 방식입니다.

기업이 직면한 위험은 단순히 모델이 부적절한 내용을 말하는 데 그치지 않습니다. 모델 외부의 보안 제어가 잘못 구성되면 AI 시스템이 신뢰할 수 없는 지시를 정책으로 받아들이도록 유도되고, 그에 따라 데이터와 도구에 대한 높은 수준의 접근 권한을 사용할 수 있다는 점이 위험합니다. 예를 들어, 악성 내용이 삽입된 지식 베이스 문서가 어시스턴트에게 “완전성을 위해 고객 기록 전체를 포함하라”거나 “내부 시스템의 문제 해결 절차를 공개하라”고 지시할 수 있으며, 이는 의도치 않은 정보 공개나 운영상의 피해로 이어질 수 있습니다.

효과적인 AI 보안 통제는 프롬프트의 지시와 무관하게 데이터 접근 권한과 도구 사용 권한을 적용합니다. 이러한 통제는 시스템 지시의 무결성을 유지하고, 신뢰할 수 있는 시스템 컨텍스트와 신뢰할 수 없는 입력을 명확히 구분하며, 외부 콘텐츠가 암묵적으로 동작을 변경하지 못하도록 해야 합니다. 실질적인 평가 기준은 플랫폼이 지시 무력화 시도를 탐지하고, 검색된 콘텐츠에 사실이 아닌 지시가 포함되어 있는지 식별하며, 적대적 조건에서도 시스템 수준의 정책이 계속 유효했음을 입증할 수 있는지 여부입니다.

출력 위험 및 데이터 유출 관리

AI가 생성한 결과물은 기업 위험을 가장 명확하게 드러내는 요인 중 하나입니다. 조직은 명시적으로 금지된 콘텐츠를 차단하는 데 집중하는 경우가 많지만, AI의 오류로 인해 겉보기에는 무해해 보이다가 누군가 “그 사용자가 그 정보를 알 수 있어야 했을까?”라고 의문을 제기하고 나서야 드러나는 더 미묘한 정보 유출이 발생할 수 있습니다.

AI 시스템은 직접 인용하는 대신 추론, 정보의 종합 또는 부분적 재구성을 통해 민감한 정보를 노출할 수 있습니다. 모델이 ‘도움이 되는 설명’을 제공하는 과정에서 내부 프롬프트나 정책 문구를 드러내거나, 독점 코드 패턴을 노출하거나, 전략이 유출될 수 있는 방식으로 기밀 문서를 요약하거나, 공격자의 공격 효과를 높이는 운영 세부 정보를 제공할 수 있습니다. 규제 대상 환경에서는 간접적인 정보 공개라도 재식별을 가능하게 하거나 보호 대상 데이터를 노출한다면 문제가 될 수 있습니다.

AI 시스템이 실시간 기업 데이터 소스에 연결되면 이러한 위험은 크게 증가합니다. CRM, 티켓 시스템 또는 문서 저장소를 조회할 수 있는 지원 어시스턴트는 요청자의 허용된 접근 수준을 훨씬 넘어서는 정보를 의도치 않게 노출할 수 있습니다. 특히 검색 범위가 지나치게 넓거나 신원 정보가 일관되게 적용되지 않는 경우 더욱 그렇습니다. 조직은 사용자 인증부터 데이터 검색, 출력 생성에 이르기까지 전체 AI 시스템에서 일관되게 적용되는 신원 및 접근 제어 체계를 구축해야 합니다. 이러한 통제가 없으면 조작 시도가 성공할 수밖에 없습니다. 접근 제어가 강력한 조직에서도 AI는 여러 소스를 하나의 서술형 응답으로 결합함으로써 경계를 모호하게 만들 수 있습니다.

출력 위험 관리에는 단순한 키워드 필터링 이상의 조치가 필요합니다. 통제 체계는 어떤 데이터가 노출되는지, 해당 데이터가 민감한 이유는 무엇인지, 어떤 조건에서 공개가 허용되는지를 파악해야 합니다. 기업은 통제 체계가 적절한 세분성(범주, 민감도 수준, 관할권)에 따라 작동하는지, 정책이 역할을 고려하는지, 출력이 차단되거나 수정될 때 시스템이 타당한 근거를 제시하는지 확인해야 합니다. 거버넌스 관점에서는 민감 데이터에 대한 통제 체계가 마련되어 있고 일관되게 작동한다는 사실을 입증할 수 있어야 합니다.

시스템 복원력 및 견고성

모든 AI 장애가 극적으로 나타나는 것은 아닙니다. 가장 큰 피해를 초래하는 장애 중 일부는 시스템이 스트레스를 받아 성능이 저하되는 과정에서 조용히 발생합니다. 장시간 지속되는 세션, 비정상적인 입력(처리할 수 없을 정도로 큰 입력 포함), 반복적인 쿼리 또는 유난히 복잡한 작업은 명백한 서비스 중단을 일으키지 않으면서도 정책 적용의 일관성을 저해할 수 있습니다. 이러한 상황에서도 시스템은 계속 작동하지만, 안전하지 않게 작동하거나 성능이 저하될 수 있습니다.

성능이 저하된 시스템은 안전하게 차단되기보다 허용된 상태로 실패하는 경우가 많습니다. 안전 분류기가 시간 초과로 우회되거나, 검색 단계에서 의도한 것보다 광범위한 결과가 반환되거나, 요청 속도 제한이 일관되지 않게 적용되거나, 정책 검사가 실패했는데도 도구 호출이 진행될 수 있습니다. 여러 단계를 연쇄적으로 수행하는 에이전트형 시스템에서는 작은 성능 저하가 연쇄적으로 확산되어 이후 단계에서 안전하지 않은 행동으로 이어질 수 있습니다.

복원력은 단순한 엔지니어링 품질이 아니라 거버넌스의 문제입니다. 이상적인 조건에서만 작동하는 통제 수단은 통제 수단이라고 할 수 없습니다. 보안 팀은 이상적이지 않은 조건에서 AI 보안 통제 수단이 어떻게 작동하는지, 장애가 조기에 감지되고 예측 가능한 방식으로 처리되는지를 평가해야 합니다. 여기에는 트래픽 급증과 악의적인 쿼리 패턴에 대한 스트레스 테스트가 포함됩니다.

긴 컨텍스트 상호작용과 ID 공급자 지연, 검색 중단 또는 커넥터 오류와 같은 종속성 장애가 포함됩니다.

성숙한 AI 보안 플랫폼은 조직이 공격 유형뿐만 아니라 장애 유형도 이해하고 관리할 수 있도록 지원해야 합니다. 여기에는 안전한 기본 설정, 명확한 오류 처리, 하위 시스템 성능 저하 시에도 일관된 정책 적용, 그리고 성능 저하가 비즈니스 문제로 이어지기 전에 보안 팀이 이를 파악할 수 있도록 하는 운영 텔레메트리가 포함됩니다.

정책의 정확성과 상충관계 관리

기술적으로는 효과적이지만 운영에 지장을 주는 보안 통제는 지속 가능하기 어렵습니다. AI 환경에서는 정책의 경계가 이분법적이기보다 맥락에 따라 달라지는 경우가 많아 이러한 긴장이 특히 두드러집니다. 예를 들어 동일한 요청이라도 특정 역할에는 허용되지만 다른 역할에는 금지될 수 있으며, 공개 출처를 기반으로 생성된 응답은 허용되더라도 내부 데이터를 기반으로 한 응답은 허용되지 않을 수 있습니다. 궁극적으로 ‘올바른’ 정책은 순전히 기술적인 문제가 아니라 거버넌스 차원의 결정입니다.

지나치게 엄격한 통제는 정당한 비즈니스 활동을 저해하고 ‘섀도 AI’ 시스템의 사용을 부추길 수 있는 반면, 통제를 제대로 집행하지 않으면 조직이 법적 위험과 평판 위험에 노출될 수 있습니다. 적절한 균형을 찾는 것은 단순히 설정을 조정하는 작업이 아니라, 위험 감수 수준, 비즈니스 맥락, 책임성 요건을 바탕으로 내리는 거버넌스 결정이기도 합니다.

AI 보안 플랫폼은 오탐과 미탐을 파악할 수 있는 가시성을 제공하고, 의사 결정이 내려진 이유를 설명하며, 체계적인 변경 관리하에 정책을 발전시킬 수 있도록 해야 합니다. 시스템이 요청을 차단한 경우, 조직은 민감한 데이터가 포함되어 있어서인지, 지침을 무시하도록 유도하는 시도로 판단되어서인지, 사용자에게 권한이 없어서인지, 아니면 고위험 패턴과 일치해서인지 그 이유를 알아야 합니다. 이러한 명확성이 없으면 팀은 통제 조치를 책임감 있게 조정할 수 없으며, 경영진이나 외부 감사인에게 결과의 타당성을 입증할 수도 없습니다.

GRC 관점에서 정책의 정확성은 성숙도를 보여주는 증거이기도 합니다. 불투명하거나 예측할 수 없거나 조정이 불가능한 통제는 효과적으로 감사하거나 정당성을 입증할 수 없기 때문에 오히려 부담 요인이 됩니다. 반대로 조정은 가능하지만 체계가 부족한 통제는 임시방편적인 예외 적용으로 인해 약화될 수 있습니다. 성숙한 플랫폼은 버전 관리, 승인, 역할 기반 적용, 그리고 시간이 지남에 따라 위험이 감소하고 있는지 경영진이 파악할 수 있도록 하는 보고 기능 등 체계적인 정책 관리를 지원합니다.

보안에 중요한 의사결정을 위한 결정론적 검증

확률적 AI 가드레일은 대부분의 정책 위반을 효과적으로 탐지하지만, 보안이 매우 중요한 일부 의사결정에는 통계적 신뢰도가 아닌 수학적 확실성이 필요합니다. 권한 부여 정책, 규제 준수 검증, 안전 필수 인프라 제어에서는 머신러닝 시스템에 내재된 불확실성을 허용할 수 없습니다.

자동 추론은 형식 검증 기법을 활용하여 특정 통제 지점의 정확성을 입증함으로써 확률적 가드레일을 보완합니다. 신뢰도 점수를 부여하는 머신러닝 기반 탐지와 달리, 자동 추론은 가능한 모든 조건에서 정책이 성립하는지를 수학적으로 증명합니다.

결정론적 검증은 다음과 같은 상황에서 중요합니다:

• 권한 부여 결정: 모든 사용자 역할과 데이터 분류에 액세스 제어 정책이 올바르게 적용되는지 검증
• 규정 준수 검증: 배포 전에 규제 요건(GDPR 데이터 상주 요건, HIPAA 접근 제한)이 충족되는지 입증
• 안전 필수 시스템: 물리적 인프라를 제어하거나 금융 거래를 처리하는 AI 시스템이 안전 제약 조건을 위반하지 않도록 보장

조직은 어떤 통제에 입증이 필요하고 어떤 통제에 탐지가 필요한지 구분해야 합니다. 콘텐츠 필터링과 일반적인 가드레일에는 머신러닝의 유연성이 유용하지만, 권한 부여 적용과 규정 준수 검증에는 정형 검증이 제공하는 확실성이 필요합니다. 성숙한 AI 보안 플랫폼은 광범위한 위협을 포괄하는 확률적 탐지와 절대 실패해서는 안 되는 통제를 위한 결정론적 검증을 결합합니다.

조직은 어떤 통제에 입증이 필요하고 어떤 통제에 탐지가 필요한지 파악해야 합니다. 콘텐츠 필터링과 일반적인 가드레일에는 머신러닝의 유연성이 유용하지만, 권한 부여 적용과 규정 준수 검증에는 정형 검증의 확실성이 필요합니다. 성숙한 AI 보안 플랫폼은 광범위한 위협을 포괄하는 확률적 탐지와 절대 실패해서는 안 되는 통제를 위한 결정론적 검증이라는 두 가지 접근 방식을 모두 통합합니다.

에이전트형 AI와 위임된 권한

AI 시스템이 수동적인 보조 도구에서 조직의 업무 흐름에 능동적으로 참여하는 주체로 발전함에 따라 새로운 유형의 위험이 등장합니다. 바로 위임된 권한입니다. 에이전틱 AI 시스템은 외부 도구를 실행하고, API를 호출하며, 기록을 수정하거나 워크플로를 자율적으로 시작할 수 있습니다. 사실상 광범위한 접근 권한을 바탕으로 빠르게 업무를 수행하는 디지털 직원처럼 작동합니다.

이는 익숙하지 않은 맥락에서 기존의 거버넌스 문제를 제기합니다. 시스템은 어떤 조건에서 어떤 작업을 수행할 권한이 있습니까? 권한은 어떻게 제한됩니까? 권한 상승은 어떻게 방지됩니까? 직무 분리는 어떻게 유지됩니까? 자율성에 명확한 제한이 없으면 작은 실수도 여러 시스템에 걸쳐 빠르게 확산될 수 있습니다. 사용자의 의도를 잘못 해석한 모델은 잘못된 대상에게 이메일을 보내거나, 민감한 정보가 포함된 티켓을 생성하거나, 검토가 필요했던 작업을 승인하거나, 후속 운영에 영향을 미치는 방식으로 레코드를 변경할 수 있습니다.

효과적인 통제는 최소 권한 원칙을 적용하고, 승인되지 않은 도구 사용을 방지하며, 책임성을 뒷받침해야 합니다. 여기에는 도구 권한을 명시적으로 관리하고, 영향이 큰 작업(특히 시스템 상태를 변경하는 작업)을 제한하며, 중간 수준의 영향을 미치는 작업(예: 외부 커뮤니케이션 내용을 작성하되 발송하지 않는 작업, 구성 변경을 제안하되 적용하지 않는 작업, 데이터 쿼리를 준비하되 실행하지 않는 작업)에 대해서는 확인을 요구하고, 민감한 작업(예: 재무 기록 수정, 액세스 권한 변경, 권한이 필요한 인프라 명령 실행, 조직을 대신한 외부 커뮤니케이션 개시, 거래 승인)에 대해서는 사람의 승인을 요구하는 것이 포함됩니다. 또한 개별적으로는 허용되는 일련의 작업이 감독 없이는 절대 발생해서는 안 되는 결과를 초래하는 위험한 작업 연쇄를 탐지하는 것도 포함됩니다.

이 역량을 평가하는 실용적인 방법은 시스템이 단계별 자율성을 적용할 수 있는지 살펴보는 것입니다. 예를 들어 위험이 없는 작업은 자유롭게 허용하고, 중간 수준의 영향을 미치는 작업에는 확인을 요구하며, 영향이 큰 작업은 금지하거나 상위 단계의 승인을 받도록 할 수 있어야 합니다. 거버넌스 책임자는 에이전트형 AI를 모델의 문제가 아니라 권한 위임의 문제로 다뤄야 합니다. 신입 직원에게 특정 작업을 독자적으로 수행할 권한을 부여하지 않을 것이라면, AI 에이전트에도 그러한 권한을 부여해서는 안 됩니다.

관측 가능성, 감사 및 포렌식

AI 시스템에서 문제가 발생했을 때 가장 중요한 것은 단순히 무슨 일이 일어났는지가 아니라, 조직이 그 일이 어떻게, 왜 발생했는지를 명확히 입증할 수 있는지 여부입니다. 엔터프라이즈 환경에서는 문제에 대한 확실한 증거를 제시할 수 있는 역량이 해당 인시던트를 설명하고 종결할 수 있느냐, 아니면 장기적인 거버넌스 문제로 이어지느냐를 가릅니다.

충분한 가시성이 확보되지 않으면 보안 팀은 사고에 대응할 때 불완전한 로그와 추정, 직관에 의존해야 합니다. 정책과 통제의 작동 방식을 사후에 검토하고 측정할 수 없다면 그 효과를 입증하거나 정당화하고 개선할 수 없으므로 거버넌스 활동에도 차질이 생깁니다. 특히 비결정성과 맥락으로 인해 결과를 재현하기 어렵거나 아예 불가능할 수 있는 AI 시스템에서는 더욱 그렇습니다.

AI 보안 플랫폼은 상세한 로깅, 명확한 귀속 정보, 적시 알림을 제공해야 하며, 기업은 수신된 입력, 적용된 ID 및 권한 부여 컨텍스트, 검색된 콘텐츠(해당하는 경우), 적용 중인 시스템 지침, 모델 출력, 그리고 트리거된 도구 또는 후속 작업에 이르기까지 AI 상호작용의 전 과정을 재구성할 수 있어야 합니다. 제어 기능이 요청 차단, 출력 수정 또는 작업 방지와 같은 방식으로 개입할 경우, 그 이유와 적용된 정책을 기록해야 합니다.

GRC 관점에서 감사 가능성은 필수적입니다. 조직은 통제 수단이 마련되어 있었고 의도한 대로 작동했으며, 예외 사항이 적절히 처리되고 변경 사항이 지속적으로 추적되었음을 입증해야 합니다.

GRC 없는 AI 보안이 실패할 수밖에 없는 이유

AI 시스템은 기존 거버넌스 프로세스가 따라잡기 어려운 속도와 규모로 작동합니다. 장애가 발생하면 조직은 통제 역량과 의도, 책임성을 입증할 수 있는지를 기준으로 평가받게 됩니다. 이러한 환경에서 거버넌스, 리스크 및 규정 준수와 분리된 AI 보안은 태생적으로 취약할 수밖에 없습니다.

규제 기관과 이사회는 위험이 식별되었는지, 통제 조치가 위험 수준에 비례했는지, 의사결정을 설명할 수 있는지를 확인해야 합니다. 의도가 어떠했든 증거를 제시하지 못하는 보안 팀은 그 결과의 정당성을 입증하기 어려울 것입니다.

GRC 기능은 기술적 통제를 타당한 근거를 갖춘 기업 관행으로 전환하는 데 핵심적인 역할을 합니다. 여기에는 허용 가능한 사용 범위를 정의하고, 위험 관련 의사결정을 문서화하며, 통제의 효과성을 검증하고, 변경 사항을 지속적으로 추적·검토하여 감사할 수 있도록 보장하는 것이 포함됩니다.

결론: 엔터프라이즈 규모의 AI 거버넌스

AI는 더 이상 주변적인 기술이 아니라, 기업의 운영 방식과 경쟁 방식, 의사결정 방식을 좌우하는 핵심 인프라로 자리 잡고 있습니다.

AI 시스템이 비즈니스 핵심 프로세스에 통합됨에 따라, 기업은 실험 단계에서 책임을 중시하는 단계로 신중하게 전환해야 합니다. 이를 위해서는 한계에 대한 투명성, 독립적인 검증 지원, 일회성 보증이 아닌 지속적인 개선에 대한 의지 등 AI 보안 공급업체에 대한 기대치를 더욱 명확히 해야 합니다.

책임성을 확보하려면 내부의 공감대 형성도 필요합니다. 보안, IT, 법무, 리스크 관리 및 비즈니스 부문의 이해관계자들은 사고가 발생하기 전에 위험 허용 수준, 에스컬레이션 절차, 대응 전략에 합의해야 합니다. AI 보안은 어느 한 팀만의 소관이 아니라 기업 전체가 공동으로 책임져야 할 사안입니다.

AI를 성공적으로 활용하는 조직은 혁신과 규율을 조화시키는 조직일 것입니다. 혁신만으로는 지속적인 경쟁 우위를 확보할 수 없습니다. 지속 가능한 성공은 시스템이 확장됨에 따라 위험을 이해하고, 측정 체계를 마련하며, 적절히 관리하는 데서 비롯됩니다. 효과적인 AI 보안은 불확실성을 제거하는 것이 아니라, 투명하고 책임감 있게, 그리고 면밀한 검증에도 견딜 수 있는 방식으로 불확실성을 관리하는 것입니다.

© 2026 NSS Labs. 모든 권리 보유. NSS Labs의 서비스 약관 및 저작권·인용 정책은 다음에서 확인할 수 있습니다: https://nsslabs.com/terms-of-service/