사이버 보안의 에이전틱 AI: 가능성과 위험

업계 동향 | 2026년 10월 16일

Louise Scully수석 관리자, 제품 마케팅, AI 보안 및 위협 인텔리전스 | F5

핵심 요점

머신 속도로 움직이는 공격자에 대응하려면 보안에 에이전틱 AI를 도입하는 것이 매우 중요합니다.
고정된 의사 결정 트리를 따르는 기존 보안 프로세스와 달리, AI 에이전트는 변화하는 상황에 적응하므로 안전한 사용을 보장하기 위한 가드레일이 필요합니다.
보안에 AI 에이전트를 활용하면 새로운 공격 표면도 생겨나 도구 오용, 권한 남용, 메모리 오염 및 기타 위협에 노출될 수 있습니다.
AI 에이전트를 안전하게 보호하려면 조직은 이를 거버넌스가 적용되는 ID로 취급하고, 범위가 제한된 단기 자격 증명을 부여하며, 런타임 가드레일을 적용하고, 되돌릴 수 없는 결정은 반드시 사람이 승인하도록 해야 합니다.

조직들은 일상적인 보안 운영 센터(SOC) 업무를 자동화하고, 아키텍처와 트래픽 패턴의 취약점을 찾아 탐지하며, 직접적인 위협에 대비해 환경을 테스트하기 위해 사이버 보안에 AI 에이전트를 도입하고 있습니다. 이러한 AI 에이전트는 위협을 관리·탐지·대응하는 데 드는 시간을 크게 줄일 수 있지만, 동시에 상당한 위험을 초래하기도 합니다. AI 에이전트는 메모리 오염, 프롬프트 인젝션, 연쇄적인 에이전트 장애, ID 드리프트 등 다양한 위협을 야기합니다. 이러한 위험에도 불구하고 에이전틱 AI는 AI 기반 적대적 공격에 대응하기 위한 필수 수단입니다.

디지털 우선의 AI 기반 시대에 사이버 보안을 관리하는 일은 아무리 강조해도 지나치지 않을 만큼 복잡합니다. 보안 팀은 하이브리드 멀티클라우드 환경과 분산 아키텍처는 물론, 이제 전체 IT 환경에서 앱, API 및 다른 모델과 상호 작용하는 복잡한 AI 시스템까지 보호하고 있습니다. 한편 공격자들은 AI를 활용해 그 어느 때보다 빠르게 더 크고 정교한 공격을 감행하고 있습니다.

보안에 에이전틱 AI를 활용하면 기계와 같은 속도로 발생하는 위협에 대응하고, 환경을 지속적으로 테스트하며, 경보 피로를 자율적으로 완화할 수 있습니다. AI 에이전트는 탐지되지 않은 취약점을 찾아내고, 동적으로 변화하는 시그니처의 이상 징후를 식별하며, 경보의 우선순위를 자율적으로 지정할 수 있어 팀이 AI 기반 위협을 식별하고 대응하는 데 드는 시간을 줄일 수 있습니다.

동시에 사이버 보안에 AI 에이전트를 활용하면 새로운 위험이 발생합니다. 사이버 범죄자들은 AI를 이용해 분산 서비스 거부(DDoS) 공격, 크리덴셜 스터핑 및 기타 기존 수법뿐만 아니라 프롬프트 인젝션, 데이터 포이즈닝, 에이전트 목표 하이재킹 등의 새로운 공격도 수행하고 있습니다.

According to the 2026 F5 애플리케이션 전략 현황 보고서에 따르면, 설문조사에 참여한 조직의 98%가 에이전틱 AI가 액세스할 수 있도록 애플리케이션을 수정하고 있다고 답했습니다. 이러한 조직은 이미 평균 7개의 AI 모델을 사용 중이거나 적극적으로 평가하고 있습니다. 이처럼 AI 도입이 계속 증가함에 따라 공격 표면도 확대될 것입니다.

에이전틱 AI는 사이버 보안에서 어떻게 작동하나요?

에이전틱 AI는 특정 목표를 달성하기 위해 여러 단계를 자율적으로 수행할 수 있는 AI 시스템을 의미합니다. 에이전트에는 목표, 도구에 대한 접근 권한, 단계 간에 유지되는 메모리, 그리고 실제 권한이 부여된 ID가 제공됩니다.

사이버 보안 조치를 지원하기 위해 에이전틱 AI는 두 가지 주요 기능을 수행합니다. 1) AI로 강화된 트래픽 모니터링, 시그니처 추적 및 취약점 탐지를 통해 AI 기반 공격에 대응하고, 2) 위험 우선순위 지정과 자동화를 통해 인시던트 대응 관리를 개선합니다.

내부적으로 보안 에이전트는 루프를 실행합니다. 루프를 반복할 때마다 새로운 정보가 생성될 수 있으며, 에이전트는 이 정보를 활용해 루프를 최적화할 수 있습니다.

일반적인 루프에서 에이전트는 다음 작업을 모두 수행할 수 있습니다:

인지: 에이전트는 경고, 로그, 원격 측정 데이터, ID 이벤트, 외부 위협 인텔리전스 등의 보안 신호를 수집합니다.
추론 및 계획: 그런 다음 에이전트는 목표를 여러 단계로 나누고, 추론 단계와 실행 단계를 번갈아 수행하며 새로운 정보가 들어오면 계획을 수정합니다.
실행: 에이전트는 각 작업을 완료하는 데 필요한 도구를 사용하여 조치를 취합니다. 보안 정보 및 이벤트 관리(SIEM) 시스템을 조회하거나, IP 평판을 확인하거나, 엔드포인트 프로세스 트리를 가져오거나, 호스트를 격리하거나, 티켓을 생성 또는 종료할 수 있습니다.
관찰: 에이전트는 도구의 출력을 읽고 목표와 비교한 다음, 필요한 경우 추론 및 계획 단계로 돌아갑니다.
기억에 저장: 출력과 발견 사항은 메모리에 기록되어 이후의 결정이 이전 결정의 맥락을 이어받도록 합니다.
에스컬레이션: 정해진 확인 지점에서 에이전트는 작업을 중단하고 의사 결정을 사람에게 넘깁니다.

새로운 정보에 적응하는 능력은 AI 에이전트를 기존 자동화 도구와 구분 짓는 핵심 특성 중 하나입니다. 이러한 능력으로 인해 공격자는 더 빠르게 움직일 수 있으며, 취약점을 찾아내고 전체 IT 환경의 스트레스 테스트를 수행하기 위해 AI 기반 사이버 보안이 필요합니다.

기존 SecOps와 에이전틱 AI 비교

많은 보안 팀이 이미 핵심 프로세스에 자동화된 SecOps를 통합했습니다. 예를 들어 SOAR(보안 오케스트레이션, 자동화 및 대응) 솔루션은 작업을 기계적인 속도로 실행하는 결정론적 도구입니다. 조건 A가 충족되면 도구가 작업 B를 실행합니다. 이러한 솔루션은 빠르고 감사가 가능하지만, 실제 상황이 기존 의사 결정 분기에서 벗어나는 순간 제대로 작동하지 않습니다.

AI 에이전트는 비결정론적입니다. 엄격한 규칙을 따르는 대신 새로운 입력에 맞춰 동적으로 조정하고 적응합니다. 따라서 새로운 위협에 더 효과적으로 대응할 수 있습니다. 또한 AI 에이전트는 사람의 개입을 최소화하거나 전혀 받지 않고도 복잡한 작업을 자율적으로 수행할 수 있으며, SIEM 및 SOAR 솔루션보다 더 포괄적인 범위를 지원해 더 빠르게 결과를 도출하는 경우가 많습니다. 하지만 동적으로 작동하기 때문에 더욱 강력한 거버넌스와 관찰 가능성이 필요합니다.

	기존 SecOps(SIEM 및 SOAR)	에이전틱 AI 보안
알림 처리	이러한 도구는 규칙 기반 상관 분석을 수행한 후, 알림을 담당자가 검토할 대기열에 추가합니다.	에이전트는 위험도가 낮은 알림을 분류하고 정보를 보강한 후 종결하며, 우선순위가 높은 알림만 분석가에게 에스컬레이션합니다.
평균 응답 시간	처리 속도는 분석가의 가용 여부에 따라 달라집니다. 심각도가 낮은 작업을 완료하는 데는 보통 몇 시간에서 며칠이 걸립니다.	에이전트는 기계적인 속도로 위협을 차단할 수 있습니다. 사람은 정보를 조회하는 데 시간을 쓰는 대신 의사결정에 집중할 수 있습니다.
적응력	기존 도구는 알려진 패턴에는 효과적입니다. 하지만 대응 지침이 없는 새로운 공격 경로는 수동으로 조사해야 합니다.	에이전트는 누구도 미리 대비하지 못한 위협에도 대응할 수 있습니다. 새로운 증거가 들어오면 계획을 수정합니다.
조사 범위	심층 분석의 수준은 담당자가 어떤 연동 항목을 확인해야 하는지 기억하느냐에 따라 달라집니다.	에이전트는 모든 사례에 대해 전체 도구 세트를 이용할 수 있습니다.
운영 수익률	반복적인 분류 작업과 오탐으로 인해 분석가의 업무 시간이 소모됩니다.	분석가의 업무 시간은 위협 헌팅과 보안 강화에 재배분됩니다. 분석가의 피로도가 줄어들고, 조직의 이직률도 낮아집니다.
고장 모드	플레이북에 오류가 발생하면 도구 실행이 중단되며, 해당 오류를 쉽게 확인할 수 있습니다.	탈취되었거나 통제에서 벗어난 에이전트는 계속 작동하며, 그 과정에서도 정상적인 것처럼 보입니다. 팀은 문제가 발생했다는 사실조차 인지하지 못할 수 있습니다.
거버넌스 필요	팀은 플레이북과 규칙에 대한 변경 관리를 구현해야 합니다.	거버넌스에는 에이전트 ID 관리, 범위가 제한된 자격 증명, 런타임 가드레일, 변경 불가능한 감사 기록, 사람의 승인이 포함되어야 합니다.

더 빠르게 진화하는 에이전트 기반 위협에 대응하기

사이버 보안을 위한 AI 에이전트 도입은 더 이상 선택 사항이 아닙니다. 에이전틱 AI 보안은 에이전틱 AI 위협에 대응하기 위한 필수 요건이 되었습니다.

2025년 11월, Anthropic은 공개적으로 문서화된 최초의 AI 주도 첩보 활동을 공개했습니다 이 활동에서는 에이전트형 프레임워크가 약 30개 표적 조직을 대상으로 전술적 작업의 최대 90%를 수행했습니다. 인간 운영자는 소수의 의사 결정 지점에만 관여했습니다.

공격 대상이 된 조직의 경우, 공격자가 AI 에이전트를 사용하면 공격에 대응할 수 있는 시간이 크게 단축됩니다. 정찰, 익스플로잇 개발, 측면 이동이 모두 자동화되면 취약점이 공개된 시점부터 실제로 악용되기까지 조직에 주어지는 시간은 불과 몇 시간뿐입니다. M-Trends 2026에 따르면 취약점 악용까지 걸리는 평균 시간은 약 -7일로 줄어들었으며, 이는 패치가 출시되기도 전에 취약점이 악용될 수 있음을 의미합니다.

사람 중심의 처리 대기열만으로는 그 격차를 그렇게 빠르게 좁힐 수 없습니다. 보안팀이 AI 에이전트의 공격을 방어하려면 AI 에이전트가 필요합니다.

에이전트를 공격 대상으로 인식하기

사이버 보안을 더욱 복잡하게 만드는 요인으로, 조직이 사이버 보안에 도입하는 AI 에이전트 역시 공격자의 표적이 될 것입니다. 결국 이러한 에이전트는 보안 스택에 접근할 수 있는 권한을 부여받고 신뢰받는 자동화된 사용자나 다름없습니다. 따라서 공격자에게 매우 가치가 높은 표적입니다.

사이버 범죄자는 다양한 방식으로 AI 에이전트를 공격할 수 있습니다. 에이전트의 목표를 탈취하는 것은 가장 흔한 공격 유형 중 하나입니다. 이 경우 공격자는 에이전트가 작업 과정에서 읽는 웹 페이지, 문서 또는 이메일에 숨겨진 간접 프롬프트 인젝션을 통해 에이전트의 목표를 바꿉니다. 또는 에이전트의 작동 방식을 변경하여 원래 의도된 작업 범위를 벗어나 API를 호출하거나 코드를 실행하거나 시스템에 데이터를 쓰도록 조작할 수도 있습니다.

ID 및 권한 악용도 자주 사용되는 수법입니다. 예를 들어 공격자는 프롬프트 인젝션을 사용해 에이전트가 부여받은 권한으로 유해한 작업을 실행하도록 속일 수 있습니다.

이러한 전술을 비롯한 다양한 수법은 광범위한 피해를 초래할 수 있습니다. 사이버 보안에 사용되는 AI 에이전트를 표적으로 삼을 경우, 공격자는 민감한 데이터를 탈취하거나 기업의 방어 체계를 무력화하여 더 크고 파괴적인 공격을 성공적으로 감행할 수 있습니다.

AI 에이전트 보호

조직은 사이버 보안 및 기타 기능에 사용하는 에이전트를 어떻게 보호해야 할까요? 몇 가지 모범 사례를 따르면 에이전트 보안을 위한 탄탄한 기반을 마련할 수 있습니다.

최소 권한뿐만 아니라 최소 자율성도 부여하세요. 최소 권한은 에이전트가 접근할 수 있는 범위를 제한합니다. 최소 자율성은 에이전트가 재확인 없이 수행할 수 있는 범위를 제한합니다. 특정 작업이 끝나면 만료되는 적시형 세션 기반 권한을 적용하세요.
워크플로를 분리하세요. 어느 한 단계에서도 민감한 데이터, 신뢰할 수 없는 입력, 외부로 연결되는 채널을 동시에 다루지 않도록 워크플로를 세분화하세요. 이렇게 하면 단일 침해 사고로 인한 피해를 제한할 수 있습니다.
샌드박스 실행을 구현하세요. 도구 호출과 생성된 코드를 일회성으로 사용되는 엄격히 격리된 컨테이너에서 실행하여, 침해 발생 시 피해 범위를 제한하세요.
런타임에 모든 루프마다 안전장치를 적용하세요. 에이전트가 다음 단계를 스스로 결정하는 경우에는 진입 시 한 번만 검사하는 것으로 충분하지 않습니다. 루프를 반복할 때마다 프롬프트, 도구 호출, 메모리 읽기 및 쓰기, 출력을 검사하세요.
모든 AI 에이전트에 고유한 ID를 부여하세요. 공유 서비스 계정과 하드코딩된 API 키를 사용하지 마세요. 각 에이전트에 고유한 ID가 있으면 어떤 에이전트가 특정 작업을 수행했는지 파악할 수 있습니다.
로그를 보관하고 사람의 승인 절차를 유지하세요. 각 실행을 촉발한 요인을 비롯해 에이전트의 추론, 도구 호출, 페이로드에 대한 변경 불가능한 로그를 보관하세요. 프로덕션 환경에 데이터를 쓰거나 자금을 이동하는 등 되돌릴 수 없는 작업을 수행하기 전에는 별도의 채널을 통해 사람의 승인을 받도록 하세요.

F5의 에이전틱 AI 사이버 보안 접근 방식

F5는 AI 에이전트가 사이버 보안에서 다양한 역할을 수행한다는 점을 잘 알고 있습니다. AI 에이전트는 AI 기반 위협에 대응하는 데 필요한 속도를 제공하여 조직이 사람의 힘만으로는 불가능한 수준으로 훨씬 빠르게 공격을 탐지하고 대응할 수 있도록 합니다. 또한 팀이 업무를 간소화할 수 있게 해주는 도구로서 관리의 복잡성을 크게 줄여 줍니다. 마지막으로 AI 에이전트는 빈번한 공격 대상이므로, 당연하게도 AI 에이전트를 활용해 보호해야 합니다.

F5는 외부 위협 인텔리전스와 내부 로그를 실시간으로 우선순위가 지정된 인사이트로 전환할 수 있습니다. 이를 지원하는 플랫폼은 F5 Application Delivery and Security Platform (ADSP)입니다. 팀은 구분 없이 나열된 알림 대기열 대신 중요도에 따라 순위가 지정된 문제 목록을 확인할 수 있습니다.

동시에 F5 AI Security Platform은 사이버 보안을 강화하고 기타 기능을 지원하는 AI 에이전트를 안전하게 보호합니다. 이 플랫폼은 보안 책임자에게 AI 애플리케이션, 모델, 에이전트 및 API 전반에 걸쳐 지속적인 가시성과 거버넌스, 보호 기능을 제공합니다. F5 Workforce AI Security, F5 AI Red Team, F5 AI Guardrails, F5 AI Gateway 등의 도구를 사용하면 팀은 위협의 변화에 따라 AI 환경을 탐지하고, 관리하고, 테스트하고, 보호하며, 지속적으로 관찰할 수 있습니다.

AI로 강화된 위협과 AI 기반 솔루션에 대해 자세히 알아보려면 F5 Labs의 위협 연구와 F5 AI 보안 솔루션을 참조하세요.

자주 묻는 질문

AI 에이전트는 사이버 보안에서 어떻게 작동하나요?

보안 팀이 에이전트에게 목표를 부여하면, 에이전트는 목표를 달성하기 위해 여러 단계로 이루어진 프로세스를 실행합니다. 이 반복 과정에는 일반적으로 위협 인식, 계획 수립, 계획 실행, 결과 관찰, 조사 결과 기록, 결과에 따른 단계 조정, 특정 단계에서의 담당자 확인 등의 작업이 포함됩니다.

기존 SOAR 자동화와 에이전틱 AI의 차이점은 무엇인가요?

SOAR(보안 오케스트레이션, 자동화 및 대응) 솔루션은 정해진 if/then 스크립트를 따릅니다. AI 에이전트는 목표를 부여받은 후 작업 순서를 스스로 정하고, 새로운 증거가 들어오면 그 순서를 수정합니다. 에이전트는 새로운 정보에 맞춰 적응할 수 있으므로 새로운 위협에 더 효과적으로 대응할 수 있습니다. 다만 더 많은 안전장치가 필요합니다.

에이전틱 AI 에이전트를 위협으로부터 어떻게 보호할 수 있나요?

몇 가지 모범 사례를 따르면 갈수록 다양해지는 위협으로부터 AI 에이전트를 보호할 수 있습니다. 예를 들어, 사람의 개입 없이 에이전트가 수행할 수 있는 작업을 제한하고, 워크플로를 개별 작업으로 나누며, 엄격하게 격리된 컨테이너에서 작업을 실행하고, 런타임에 가드레일을 적용하면 AI 에이전트의 보안을 강화할 수 있습니다.

Explore F5 AI 보안 솔루션을 살펴보세요.

작성자 소개

Louise Scully수석 관리자, 제품 마케팅, AI 보안 및 위협 인텔리전스 | F5

Louise Scully는 F5에서 AI 보안 및 위협 인텔리전스 제품 마케팅을 담당하는 시니어 매니저입니다. AI 보안 및 엔터프라이즈 기술 분야에서 제품 마케팅, 제품 관리, 시장 진출 전략, 커뮤니케이션, 사고 리더십, 카테고리 개발 등 폭넓은 경력을 쌓았습니다. F5에 합류하기 전에는 CalypsoAI와 Artomatix에서 마케팅을 총괄하며 AI 기술과 연구 성과의 시장 출시를 이끌었습니다.

Louise Scully의 다른 블로그 게시물