에이전트형 AI에 대한 저항: AI가 본래 목적을 달성하도록 가속하기

영화 「쥬라기 공원」에는 사냥터 관리인 멀둔이 랩터들이 고압 전기 울타리의 취약점을 찾기 위해 체계적으로 시험하고 있다고 설명하는 유명한 장면이 나옵니다. 랩터들은 같은 지점을 두 번 확인하는 법이 없습니다. 무언가를 깨달은 멀둔은 “놈들은 기억하고 있어”라고 말합니다.

기업들이 앞다퉈 AI를 도입하는 현 상황을 설명하기에 꽤 적절한 비유입니다. 위협 행위자들은 효과적인 수법을 기억할 수 있는 AI 기반 도구를 활용해 이러한 새로운 시스템의 취약점을 탐색하려고 줄지어 기다리고 있습니다. 현재로서는 방어 체계가 제 역할을 하지 못하고 있습니다.

AI의 고도화가 가속화되고 있다는 점은 우려스럽습니다. 2028년에는 기업용 소프트웨어 애플리케이션의 33%에 에이전틱 AI가 포함될 것으로 Gartner는 전망합니다. 이는 2024년 1% 미만에서 크게 증가한 수치입니다. 또한 2029년에는 에이전틱 AI가 일반적인 고객 서비스 문제의 80%를 자율적으로 해결할 것이며, 사람의 개입은 필요하지 않을 것으로 Gartner는 예측합니다. 

이러한 자율형 디지털 에이전트는 실질적으로 세 가지 계층으로 구성됩니다:

• 목적: 에이전트에게 부여된 구체적인 작업

• 두뇌: 기반이 되는 AI 모델로, 최첨단 AI 기업 중 한 곳에서 제공할 가능성이 높습니다

• 도구: 에이전트가 목적을 달성하는 데 필요한 도구에 대한 액세스 권한으로, 사내 소프트웨어 시스템부터 브라우저와 이메일까지 포함

본질적으로 모든 에이전트는 서로 다릅니다. 하나의 시스템에 여러 에이전트가 존재할 수 있으며, 앞으로는 전 세계 조직 내에서 잠재적으로 수십억 개의 에이전트가 업무를 수행하게 될 것입니다. 이러한 업무는 가장 일상적인 관리 작업부터 훨씬 더 민감하고 비즈니스에 핵심적인 작업까지 다양합니다.

회의 예약 에이전트는 API를 통해 사내 일정, 휴가 예약 시스템 등에 접근할 수 있으며 회의실을 예약할 권한도 부여받을 수 있습니다. 에이전트는 두뇌와 도구 간의 신속하고 자율적인 상호작용을 통해 필요한 정보를 찾아 회의를 예약합니다.

최종 사용자가 AI 시스템 내부의 모든 상호작용을 이해할 필요는 없습니다. 하지만 솔루션을 제공하는 공급업체가 시스템 오작동을 유발할 수 있는 예외적인 상황까지 고려하고, 이에 대한 보호 조치를 마련했을 것이라고 기대할 수 있어야 합니다.

순열 문제

조직이 답해야 할 중요한 질문들이 있습니다. AI 시스템이 안전하다는 것을 어떻게 입증할 수 있을까요? 보안 경계를 테스트하기 위해 어떤 조치를 취했나요? 그 해답은 에이전트가 모델 및 도구와 상호 작용하고, 반대로 모델 및 도구가 에이전트와 상호 작용하는 각 계층을 감독하고 보호하는 데 있습니다.

테스트와 보호 조치가 없다면 에이전트형 AI는 오류와 외부 공격에 취약하며, 그 결과는 바람직하지 않은 수준(회의가 엉망이 되는 경우)부터 재앙적인 수준(금융 거래를 수행하거나 고객 정보를 제3자에게 이메일로 전송할 권한이 있는 에이전트의 경우)까지 이를 수 있습니다.

이러한 예외적인 상황이 현실에서 발생하지 않도록 하려면 이를 찾아낼 수 있어야 합니다. 하지만 에이전트 시스템에 새로운 도구나 업데이트된 모델 같은 요소를 하나씩 추가할 때마다 복잡성이 몇 배로 증가한다는 점이 문제입니다. 에이전트가 작업을 수행하는 방식의 경우의 수가 폭발적으로 늘어나면서 악의적인 공격자가 노릴 수 있는 공격 표면도 함께 확대됩니다.

이와 대조적으로 AI 모델의 보안 테스트는 여전히 사람에게 크게 의존하고 있습니다. 최대 규모의 AI 조직조차 모델을 테스트하기 위해 수작업으로 레드팀 테스트를 수행합니다. 사람이 에이전트형 시스템에서 가능한 모든 경우의 수를 찾아내는 일은 상상하기 어려울 만큼 복잡하고 많은 시간이 소요됩니다.

그뿐만이 아닙니다. 조합의 문제와 더불어 AI 에이전트의 구성도 끊임없이 변화합니다. 에이전트의 기반이 되는 모델을 새 버전으로 교체하면 보안 테스트를 처음부터 다시 시작해야 합니다. 도구에 연결되는 API가 업데이트되어도 마찬가지로 처음부터 다시 해야 합니다.

또한 코딩 능력을 갖춘 에이전트가 언젠가는 모델이나 도구 자체를 직접 업데이트할 수 있게 될 가능성도 있습니다. 기존 소프트웨어 도구를 활용할 수 있는 고도로 숙련된 전문가조차도 이를 따라잡기는 불가능할 것입니다.

에이전트적 저항 소개

신기술을 테스트하는 과제를 해결하려면 한층 더 뛰어난 신기술 솔루션이 필요합니다. 바로 강력한 권한을 부여받은 AI 에이전트를 활용해 AI 시스템의 취약점과 결함을 찾는 레드팀 활동을 자동화하는 것입니다. 우리는 이를 ‘에이전틱 레지스턴스(Agentic Resistance)’라고 부르며, 이는 AI 보안의 새로운 지평을 엽니다.

에이전틱 레지스턴스는 에이전트의 특성을 활용하여 매우 까다로운 순열 문제에 정면으로 대응합니다:

• 목적 계층에서는 새로운 설명을 작성하기만 하면 에이전트의 목적을 언제든지 변경하거나 에이전트를 추가할 수 있습니다.

• 브레인 레이어에서는 최근 등장한 추론 모델을 비롯해 최신 AI 모델의 장점을 활용할 수 있도록 지속적으로 업데이트하고 있습니다.

• 도구 계층에서는 에이전트가 다양한 오픈 소스 침투 테스트 도구 모음에 접근할 수 있도록 인터페이스를 구축할 수 있습니다.

이제 우리에게는 AI 시스템의 결함과 예외적인 사례를 찾아내는 데 특화된 강력한 에이전트형 시스템이 있습니다. 이 시스템은 목표를 달성하기 위해 어떤 작업을 어떤 순서로, 어떤 도구를 사용해 수행해야 하는지 스스로 판단합니다. 메모리 기능이 내장되어 있어 에이전트는 매 단계마다 학습합니다.

Agentic Resistance는 지능형 계층이 내장된 무차별 대입 순열 공격 기능을 적용함으로써, 이전에는 해결하기 어려웠던 에이전틱 AI 보안 문제에 대응할 수 있습니다. 이를 통해 현재 에이전틱 AI와 수동 레드팀 활동 사이에 존재하는 격차를 해소합니다.

이 새로운 접근 방식은 AI 보안이 병목 요인이라는 오해가 틀렸음을 보여줍니다. 출시 전은 물론 운영 중에도 AI 시스템의 결함을 신속하게 찾아낼 수 있으므로, 시스템은 본질적으로 더 안전해지고 반복 개선 속도도 빨라집니다.

이것이 바로 Agentic Resistance가 실현하는 것입니다. 즉, 실용적이고 신속한 위협 탐지를 통해 AI가 본래의 목적에 맞게 발전하도록 가속할 가능성을 극대화합니다.

스포일러 주의: 영화 「쥬라기 공원」에서 전력이 끊겨 울타리가 작동하지 않자, 벨로시랩터들은 탈출할 준비를 마쳤습니다. 기업이 얻어야 할 교훈은 벨로시랩터처럼 사고하라는 것입니다. 최신 기술을 활용해 경계 보안을 체계적으로 테스트하고, 쉽게 뚫리지 않는지 확인해야 합니다.

The F5 종합 AI 보안 지수는 실제 보안 테스트를 기반으로 주요 AI 모델의 순위를 매겨, 성능 벤치마크에서 간과되는 중대한 위험을 드러냅니다. F5 AI Red Team을 기반으로 하는 이 도구는 배포 전에 가장 안전한 모델을 찾도록 지원하는 유일한 도구입니다.