에이전트가 들어오는 순간, 보안 모델은 무너집니다

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

오늘날 대부분의 엔터프라이즈 보안 도구는 매우 구체적인 일련의 가정을 바탕으로 구축되어 있습니다. 이는 나쁜 일이 아닙니다. 지난 20년 동안 그러한 가정이 수없이 검증되고 타당성이 입증되었기 때문입니다. 그중에서도 핵심은 소프트웨어가 지시받은 대로 작동하고, 사용자를 프로파일링할 수 있으며, 시스템이 알려진 조건에서 예측 가능하게 동작한다는 가정입니다. API나 웹 서버, 또는 비밀번호 관리 습관이 좋지 않은 사용자를 보호할 때는 이러한 가정이 잘 통했습니다.

하지만 자율형 에이전트가 등장하면 이 모든 전제가 무너집니다.

에이전트가 항상 정해진 스크립트를 따르는 것은 아닙니다. 미리 고정된 경로로만 작동하는 것도 아닙니다. 에이전트는 추론하고, 계획하고, 적응하며, 주의를 기울이지 않으면 잘못된 행동을 할 수도 있습니다. 이는 기존의 전통적인 방어 전략이 지나치게 낙관적인 전제에 기반하고 있었음을 뒤늦게 깨닫게 된다는 뜻입니다.

다행히 보안 연구자들은 이러한 현실에 대응하기 시작했습니다. 그 진지한 움직임을 보여주는 사례 중 하나가 바로 다음 논문입니다. “에이전트형 AI 보안: LLM 에이전트를 위한 위협 모델링.” 이 논문은 단순히 새롭고 무서운 시나리오를 잔뜩 제시하는 데 그치지 않고, 우리가 빠르게 진입하고 있는 에이전트 중심의 세계에 맞춰 설계된 새로운 운영 프레임워크를 실제로 제안합니다.

SHIELD: API가 아닌 에이전트를 위해 구축된 프레임워크

저자들은 SHIELD를 소개합니다. 이는 실제 환경에서 자율 에이전트를 관리하기 위한 계층형 접근 방식입니다. 단순한 공격 벡터 목록이 아니라 거버넌스 청사진입니다. SHIELD에는 다음이 포함됩니다:

• 샌드박싱: 에이전트가 접근할 수 있는 대상(도구, 파일, API)을 행동에 나서기 전에 명확히 정의합니다. 어떤 형태로든 엄격한 접근 제어를 적용해야 합니다. 여기서 핵심 전제는 타당하며, 일반적으로 AI의 도구 사용을 통제하려는 다양한 시도가 이미 이루어지고 있습니다.
• 인간 참여형: 되돌릴 수 없는 작업이 실행되기 전에 검토 지점이나 상위 담당자에게 이관하는 절차를 마련하세요. 이는 대부분의 자동화 작업에 필수적인 요소이므로 매우 당연해 보입니다.
• 인터페이스 제약 조건: 에이전트가 시스템과 상호작용할 때 적용되는 엄격한 입력/출력 규칙입니다. 입력값 정제와 응답 검증처럼 들리네요. 흠.
• 실행 추적: 도구 호출, 메모리 상태 변경 및 계획 루프를 모니터링합니다. 관찰 가능성. 관찰 가능성. 관찰 가능성.
• 로깅: 결과뿐만 아니라 추론 단계와 도구 사용 내역도 기록합니다. 이 항목은 멋진 약어를 만들기 위해 필요하지만, 실제로는 위의 추적 항목과 함께 포괄적인 관측 가능성 전략의 일부를 이룹니다.
• 결정론적 재현: 추론 세션을 재구성하여 어떤 일이 왜 일어났는지, 단순히 무엇이 일어났는지만이 아니라 그 이유까지 감사할 수 있도록 합니다. 에이전트, 아니 사실상 어떤 AI든 그 ‘상태’를 재현하는 것은 거의 불가능하다는 점을 고려하면, 이것이 가능하다는 주장은 정말 믿기 어렵습니다. 그래도 뭐, 가능하다면 멋지겠죠.

아직 초기 단계이지만, SHIELD의 핵심 통찰은 매우 중요합니다. 에이전트형 AI에는 새로운 통제 지점과 새로운 전제, 새로운 사고방식이 필요합니다. 최근에도 이를 언급한 적이 있는데, 이 백서가 그 예입니다. 하지만 지금은 이것이 보안 책임자와 엔지니어에게 실제로 무엇을 의미하는지 간단히 정리해 보겠습니다.

에이전틱 AI를 위해 보안이 반드시 전환해야 할 다섯 가지

1. 정적 위협 모델에서 동적 행동 모니터링으로
기존의 위협 모델은 공격자가 측면 이동, 권한 상승, 페이로드 전달 등 알려진 패턴을 따를 것으로 예상합니다. 하지만 에이전트는 알려진 패턴을 따르지 않습니다. 상황에 맞춰 즉흥적으로 행동할 수 있습니다.

보안 팀은 새롭게 나타나는 행동을 모니터링하기 시작해야 합니다. 즉, 에이전트가 무엇을 하고 어떻게 사고하며 언제 의도된 경로에서 벗어나는지를 파악할 수 있도록 텔레메트리를 구축해야 합니다. 시맨틱. 옵저버빌리티. 더 말할 필요도 없습니다.

2. 경계 보안 통제에서 런타임 정책 적용으로
LLM 에이전트가 도구를 호출하고, 파일에 액세스하거나, API 요청을 자율적으로 제출하며 이미 내부에 들어와 있는 상황에서는 방화벽과 게이트웨이 수준의 보호가 도움이 되지 않습니다.

보안은 런타임에 더 가까운 곳에서 적용되어야 하며, 작업 범위별 권한, 환경 격리, 의도 검증을 실시간으로 시행해야 합니다. 이를 ‘추론으로서의 정책(policy-as-inference)’이라고 생각해 보십시오. 에이전트에 허용된 작업은 에이전트가 해당 작업을 수행하기로 결정하는 바로 그 순간에 검증되어야 합니다. 이는 데이터 플레인과 제어 플레인의 경계가 무너지는 현상이며, 보안도 반드시 여기에 관여해야 합니다.

3. 이벤트 로깅에서 컨텍스트 캡처로
이해할 수 없는 것은 보호할 수 없습니다. 에이전트를 이해하려면 로그만으로는 부족합니다. 프롬프트 체인, 도구 호출 메타데이터, 메모리 스냅샷, 실행 컨텍스트를 모두 기록하고 추적할 수 있어야 합니다. 컨텍스트가 새로운 경계입니다.

에이전트는 왜 회의 다섯 건을 예약하고 새벽 2시에 공급업체에 이메일을 보냈을까요? 에이전트의 의사 결정 과정을 재현할 수 없다면 그 이유를 알 수 없습니다. 이는 단순한 관측 가능성이 아니라 에이전트 포렌식입니다.

4. 코드 리뷰에서 행동 테스트로
에이전트의 논리는 코드가 아니라 가중치, 프롬프트, 도구, 컨텍스트의 조합에 있습니다. 따라서 정적 리뷰는 무용지물입니다.

필요한 것은 샌드박스 환경에서의 행동 기반 QA입니다. 극단적인 상황과 적대적 입력, 권한 경계를 시뮬레이션해야 합니다. 에이전트를 결정론적 코드 모듈이 아니라 교육 중인 주니어 엔지니어처럼 다루세요.

레드팀 활동은 ‘시스템 침투’에서 ‘에이전트 조작’으로 진화해야 하며, 이를 반복적으로 수행하면서 연쇄적인 장애 발생 가능성을 예의주시해야 합니다.

5. 사용자 ID에서 에이전트 ID 및 권한 범위로
오늘날의 액세스 제어는 대부분 사용자를 중심으로 이루어집니다. 즉, 사용자가 누구이며 어떤 역할을 보유하고 있는지를 기준으로 합니다. 하지만 이러한 방식은 에이전트에는 적합하지 않습니다. 이제는 AI 행위자에게 ID, 권한 범위 및 작업 경계를 할당하고 자동 만료(TTL), 공유 메모리와의 격리, 영구적인 감사 추적 기능도 함께 적용해야 합니다.

요컨대, 이제 제로 트러스트는 비인간 행위자에게도 적용됩니다. 이들이 도구를 호출하거나 리소스에 접근할 때마다 신뢰를 새롭게 입증해야 합니다.

보안도 변화에 적응해야 합니다

에이전틱 AI는 단순히 새로운 기술에 그치지 않고 시스템 차원의 변화를 가져옵니다. 모델이 자율성을 갖게 되면 시스템의 엔트로피가 증가하고, 기존의 가정은 위험 요인으로 바뀝니다.

SHIELD의 강점은 단순히 통제 항목 목록에만 있는 것이 아닙니다. 핵심은 철학이며, 여기에는 두 가지 기본 전제가 포함됩니다:

• 에이전트는 본래의 특성이나 조작으로 인해 정해진 지침을 벗어날 수 있다고 가정합니다
• 추론 오류가 시스템 전반에 부작용을 일으킬 수 있다고 가정하세요

지금 이러한 원칙을 받아들이는 보안 팀은 확장 가능한 안전장치를 구축할 수 있습니다. 그렇지 않은 팀은요? 에이전트가 “그저 도우려 했을 뿐”인 상황에서 벌어진 일을 수습하게 될 것입니다.

그러니 기존 프레임워크만으로는 충분하지 않습니다. 에이전트는 이미 현장에 들어왔습니다. 이제 에이전트의 본질을 제대로 이해하는 거버넌스로 대응해야 할 때입니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물