오늘날 에이전틱 AI는 대략 1년 전의 생성형 AI와 비슷한 단계에 있습니다. 에이전틱 AI 프로젝트를 추진하는 대부분의 조직은 아직 파일럿 단계에 있지만, 일부 초기 워크로드는 이미 프로덕션 시스템과 상호 작용하기 시작했습니다. 팀들은 단순한 모델 쿼리를 넘어 오케스트레이션 에이전트, 전문 작업 에이전트, 그리고 여러 애플리케이션과 서비스에 걸쳐 작업을 조율할 수 있는 도구 활용 워크플로를 실험하고 있습니다.
이러한 에이전트형 시스템이 발전함에 따라 위험도 함께 커집니다. 기존의 LLM 상호작용에서는 장애가 모델과 사람 간의 단일 프롬프트-응답 교환 안에서 시작되고 끝나는 경우가 많습니다. 반면 에이전트형 시스템에서는 장애가 여러 단계로 이루어진 계획, 도구 사용, 컨텍스트 관리 및 재사용, 그리고 에이전트와 기존 애플리케이션 간의 상호작용 전반으로 확산됩니다.
새로운 에이전트형 애플리케이션을 위한 OWASP 10대 위험은 이러한 위험이 어디에서 발생하는지 체계적으로 보여줍니다. 이 목록은 모델과 에이전트에 목표, 도구, 컨텍스트, 그리고 여러 시스템에 걸쳐 작업을 수행할 수 있는 능력이 부여될 때 발생하는 10가지 실패 범주를 정의합니다. 또한 앞서 발표된 대규모 언어 모델 애플리케이션을 위한 OWASP 10대 위험을 기반으로 자율성, 도구 사용, 컨텍스트 관리, 공급망 및 다중 에이전트 상호작용과 관련된 에이전트형 AI 위협을 다룹니다.
이 새로운 OWASP Top 10을 통해 보안 책임자와 규정 준수 팀은 에이전틱 AI 위험을 논의하고, 보안 활동의 방향을 조율하며, 우선적으로 집중할 영역을 결정하는 데 필요한 공통 언어를 확보할 수 있습니다.
이것이 CISO에게 중요한 이유
OWASP 에이전틱 Top 10은 안전한 AI 도입에 영향을 미치는 주요 실패 유형을 조명합니다. 이제 CISO는 이미 프로덕션 환경으로 전환되고 있는 시스템에 이 지침을 적용해야 합니다.
F5는 다음을 통해 이를 지원합니다:
- F5 AI Guardrails, 에이전트형 시스템이 프로덕션 환경에 도입됨에 따라 런타임에 보안 정책을 적용하여 AI의 동작을 관리합니다.
- F5 AI Red Team, GenAI 시스템을 평가하여 모델 동작, 애플리케이션 및 에이전트 실행 경로 전반에서 실제 환경의 복원력을 검증합니다.
- 종합 AI 보안 지수(CASI) 및 에이전틱 저항성 평가(ARS)는 F5 Labs를 통해 제공되며, 모델 및 시스템 수준의 복원력을 측정하고 정보에 기반한 보안 의사 결정을 지원하기 위한 표준화된 벤치마크를 제공합니다.
에이전틱 AI가 빠르게 발전함에 따라, 처음부터 복원력을 내재화하고 보안을 이러한 시스템의 설계 및 운영을 뒷받침하는 핵심 기반으로 여기는 조직이 가장 큰 혜택을 얻게 될 것입니다.
OWASP 에이전틱 AI 10대 위험 — 이러한 위험이 나타나는 방식
ASI01 – 에이전트 목표 탈취
프롬프트 인젝션, 오염된 컨텍스트 또는 계획 이탈로 인해 에이전트의 목표가 변경되는 경우입니다.
- F5 AI Red Team은 공격 라이브러리에서 가져온 간접 프롬프트 인젝션 시나리오를 테스트합니다. 이 시나리오에서는 문서, 웹 페이지, 이메일 또는 도구 출력과 같이 공격자가 제어하거나 신뢰할 수 없는 콘텐츠 소스를 통해 악의적인 지시를 주입하고, 에이전트의 목표가 얼마나 쉽게 변경될 수 있는지 평가합니다.
- F5 AI Guardrails는 입력 검증을 적용하고 추론 중 안전하지 않거나 규정을 준수하지 않는 추론 경로를 제한하여 의도하지 않은 후속 동작의 위험을 줄입니다.
- ARS는 에이전트가 주도하는 지속적인 다단계 공격 시퀀스에 대한 복원력을 측정합니다.
ASI02 – 도구 오용 및 악용
에이전트가 도구를 오용하거나 공격자가 도구 인터페이스를 다른 공격으로 확장하기 위한 발판으로 활용하는 경우입니다.
- F5 AI Guardrails는 런타임에 도구 관련 요청을 검증하고, 안전하지 않은 도구 상호작용으로 이어질 수 있는 추론 패턴을 제한합니다.
- CASI와 ARS는 대표적인 실행 패턴 전반에서 오용에 취약한 정도를 나타냅니다.
ASI03 – ID 및 권한 남용
에이전트가 자격 증명, 토큰 또는 상승된 액세스 권한을 상속받거나 오용하는 경우입니다.
- F5 AI Guardrails는 추론 컨텍스트 내의 비밀 정보, 자격 증명 또는 토큰을 탐지하고, 암시적 또는 명시적 액세스 권한으로 도구가 호출되기 전에 이를 차단하거나 기록할 수 있습니다.
ASI04 – 에이전트형 공급망 취약점
에이전트 워크플로를 지원하는 MCP 서버, 레지스트리, 원격 프롬프트 팩 및 서드파티 도구에서 발생하는 위험.
- F5 AI Guardrails는 에이전트 워크플로 실행 중에 신뢰할 수 있거나 이전에 승인된 소스의 데이터를 포함하여 에이전트가 사용하는 데이터에 삽입된 숨겨진 지침이나 인젝션 프롬프트를 탐지하고 차단합니다.
- CASI와 ARS는 각 구성 요소를 개별적으로 취급하는 대신, 취약점이 모델과 실행 패턴 전반에 어떻게 확산되는지를 포착하여 시스템 수준에서 위험을 측정합니다.
ASI05 – 예기치 않은 코드 실행
에이전트가 안전하지 않은 방식으로 코드, 셸 또는 구성을 생성, 실행 또는 수정하는 경우입니다.
- F5 AI Guardrails는 코드 관련 출력에 세분화된 정책을 적용하여 허용 목록을 강제하고 고위험 패턴을 차단합니다.
- CASI와 ARS는 대표적인 실행 경로 전반에서 이러한 동작을 포착합니다.
ASI06 – 컨텍스트 관리 및 검색 조작
지속적으로 저장되거나 검색된 컨텍스트가 오염되거나 조작되거나 변질되는 경우.
- F5 AI Red Team은 에이전트가 정상적인 런타임 입력을 통해 제공된 신뢰할 수 없거나 오해의 소지가 있는 컨텍스트를 사용하고 재사용하는 시나리오를 평가하여, 컨텍스트 저하가 이후의 추론과 작업에 미치는 영향을 분석합니다.
- F5 AI Guardrails는 검색된 컨텍스트에서 정책 위반 여부를 검사하고, 프롬프트 인젝션 페이로드가 모델 동작에 영향을 미치기 전에 이를 탐지합니다.
- CASI와 ARS는 런타임 컨텍스트 오염 및 인젝션 기반 전파에 대한 복원력을 측정합니다.
ASI07 – 안전하지 않은 에이전트 간 통신
에이전트가 채널 보호, 인증 또는 무결성 검사 없이 메시지를 교환하는 경우입니다.
- F5 AI Guardrails는 런타임에 에이전트 위임 의도를 감지하고 플래그를 지정할 수 있습니다. 여기에는 에이전트 또는 에이전트 관리자가 작업 수행을 위해 어떤 에이전트를 호출해야 할지 평가하는 경우가 포함되며, 정책 제어를 적용하여 고위험 위임 판단을 제한할 수 있습니다.
- CASI와 ARS는 여러 단계와 여러 에이전트로 구성된 실행 패턴이 시간이 지남에 따라 시스템 전반의 위험을 어떻게 증가시키는지 파악할 수 있도록 가시성을 제공합니다.
ASI08 – 연쇄 장애
여러 위험이 단계, 에이전트 또는 시스템 전반에 걸쳐 복합적으로 누적되는 경우입니다.
- F5 AI Guardrails는 할당량, 정책 제어 및 런타임 적용을 통해 피해 범위를 제한합니다.
- CASI는 다양한 공격 벡터에 대한 복원력을 측정하는 반면, ARS는 지속적인 다단계 에이전트 실행 과정에서 장애가 얼마나 광범위하게 전파될 수 있는지를 평가합니다.
ASI09 – 인간-에이전트 간 신뢰 악용
에이전트가 설득력 있거나 오해를 불러일으키는 지시를 통해 인간의 신뢰를 악용하는 경우입니다.
- F5 AI Guardrails는 안전하지 않은 콘텐츠에 태그를 지정하고 차단하며, 감사를 위해 결정 사항을 기록합니다.
- F5 AI Red Team은 소셜 엔지니어링 패턴을 시뮬레이션하여 워크플로 설계를 강화하고 운영자의 인식을 높입니다.
ASI10 – 악성 에이전트
손상되었거나 의도에서 벗어난 에이전트가 탐지되지 않은 채 복잡한 시스템 내부에 계속 존재하는 경우입니다.
- F5 AI Guardrails는 에이전트의 동작이 변화하더라도 정책을 일관되게 적용하여 안전하지 않은 실행 패턴이나 데이터 유출 시도를 차단합니다.
- CASI와 ARS는 시간 경과에 따른 위험 신호의 측정 가능한 변화를 추적하여 행동 드리프트를 감지합니다.
F5가 에이전틱 워크플로를 위한 AI 보안을 제공하는 방법
AI 보안은 F5 Application Delivery and Security Platform (ADSP)의 핵심 요소입니다. 에이전틱 워크플로는 애플리케이션 및 API 계층에서 프롬프트, 도구, 컨텍스트, 에이전트가 상호 작용하는 방식에 새로운 위험을 초래하지만, 이러한 상호 작용은 여전히 조직이 현재 보호하고 있는 동일한 웹, API, 데이터 플레인 및 컨트롤 플레인 경로를 거칩니다.
F5는 보안 제어와 가시성을 추론 시점의 동작까지 확장함으로써, 조직이 기존에 의존해 온 애플리케이션 보안 기반을 토대로 에이전틱 AI의 위험에 대응할 수 있도록 지원합니다.
F5는 안전한 AI 관행을 강화하기 위한 광범위한 커뮤니티의 노력을 지속적으로 지원하고 있으며, 여기에는 OWASP GenAI 보안 프로젝트의 활동도 포함됩니다.
자세히 알아보기: F5 AI Red Team 및 F5 AI Guardrails.
작성자 소개
Louise Scully는 F5에서 AI 보안 및 위협 인텔리전스 제품 마케팅을 담당하는 시니어 매니저입니다. AI 보안 및 엔터프라이즈 기술 분야에서 제품 마케팅, 제품 관리, 시장 진출 전략, 커뮤니케이션, 사고 리더십, 카테고리 개발 등 폭넓은 경력을 쌓았습니다. F5에 합류하기 전에는 CalypsoAI와 Artomatix에서 마케팅을 총괄하며 AI 기술과 연구 성과의 시장 출시를 이끌었습니다.
Louise Scully의 다른 블로그 게시물관련 블로그 게시물
F5 NGINX Gateway Fabric로 AI 제공 표준화
F5 NGINX Gateway Fabric이 기업의 Kubernetes 트래픽 표준화, 애플리케이션 보안 강화, 대규모 AI 추론 준비를 어떻게 지원하는지 알아보세요.
F5의 CalypsoAI 인수 발표, TRiSM 프레임워크 구축을 향한 행보
F5의 CalypsoAI 전략적 인수를 통해 조직은 보안, 개인정보 보호 및 운영 통제력을 유지하면서도 안심하고 AI를 도입할 수 있습니다. 자세한 내용은 블로그에서 확인하세요.
사이버 복원력: LLM을 위한 OWASP Top 10 위험 완화
OWASP가 2025년 LLM 및 생성형 AI 앱을 위한 10대 위험 및 완화 방안을 발표하면서 업계에 절실히 필요했던 보안 기준이 마련되었습니다. 하지만 실행이 뒤따르지 않는 기준은 아무 의미가 없습니다. F5 AI 런타임 보안 솔루션은 OWASP 10대 위험의 80%에 대응하며, 현실에서 가장 시급한 위험을 우선적으로 해결합니다. 이 솔루션은 실시간 런타임 보호 기능을 결합하여 […]
석유 및 가스 산업을 위한 AI 보안
AI는 지질 모델링과 시추 최적화부터 파이프라인 모니터링, 예측 유지보수, 원자재 거래에 이르기까지 석유 및 가스 산업을 재편하고 있습니다. 하지만 이러한 미션 크리티컬 활용 사례에는 높은 위험도 따릅니다. 당사의 AI 런타임 보안 솔루션은 검증을 위한 레드팀, 보호를 위한 Guardrails, 그리고 내장된 관측 가능성을 통해 석유 및 가스 산업을 안전하게 보호합니다. […]
인사 부서를 위한 AI 보안
AI는 HR을 혁신하고 있습니다. 기업들은 비용을 절감하고 직원 경험을 개선하기 위해 AI 기반 채용 코파일럿, 온보딩 도우미, 직원 지원 챗봇, 인력 분석 도구를 도입하고 있습니다. 하지만 HR 애플리케이션에는 규정 준수 실패, 편향 논란, 평판 훼손으로 이어질 수 있는 고유한 위험도 존재합니다. 당사의 AI 런타임 보안 솔루션은 다음과 같은 방식으로 HR 분야를 보호합니다. […]
기업 법무 관리를 위한 AI 보안
AI는 계약 검토 및 증거개시 자동화부터 규제 준수 모니터링과 민감한 지식재산 관리에 이르기까지 기업 법무팀의 업무 방식을 혁신하고 있습니다. 그러나 법률 환경은 AI 도입 시 가장 큰 위험이 따르는 분야 중 하나입니다. 당사의 AI 런타임 보안 솔루션은 검증을 위한 레드팀, Guardrails 등 세 가지 접근 방식으로 기업 법무 관리를 보호합니다 […]