에이전트 시대의 보안: 과대광고에서 중대한 현실로

F5 ADSP | 2025년 5월 07일

에이전트형 AI에 대한 기대가 현실로 구체화되면서, 전 세계 조직들은 내부에서 AI 에이전트를 활용할 수 있는 사례를 발굴하고 있습니다. 기업들은 기반 모델을 도구 및 데이터 소스와 연결하고 작업을 자율적으로 수행하도록 함으로써 비용을 절감하고 운영 효율성을 높이고자 합니다.

우선 CISO들은 비교적 위험 수준이 낮으면서도 확실한 이점을 제공하는 로봇 잔디깎이와 바닥 청소기의 에이전트형 AI 버전을 찾고자 합니다. 고객 서비스는 명백한 초기 활용 사례로, Intercom, Zendesk, ServiceNow 같은 기업의 AI 기반 솔루션뿐 아니라 자체 개발 시스템을 시험하는 무대가 되고 있습니다.

Gartner의 전망에 따르면 2029년까지 에이전틱 AI가 일반적인 고객 서비스 문제의 80%를 사람의 개입 없이 자율적으로 해결해 운영 비용을 30% 절감할 것으로 예상됩니다. 이 정도의 수치라면 에이전트가 다른 비즈니스 업무도 대규모로 처리하고, 궁극적으로 핵심 제품 기능에 내장되는 것은 시간문제입니다.

한편, 개정된 두 건의 연방 기관의 AI 사용에 관한 미국 정책은 AI의 미래를 엿볼 수 있는 유용한 단서를 제공합니다. M-25-21 각서에는 2025년 4월 7일에 발표된 백악관 관리예산실(OMB)의 다음과 같은 내용이 담겨 있습니다. “각 기관은 기존 역량을 토대로 책임 있는 AI 혁신을 추진하고, AI 및 AI 활용을 지원하는 인재를 강화하며, AI 개발 및 조달 역량을 개선함으로써 AI를 활용한 임무 수행의 효과 향상에 주력해야 한다.” 기업의 목표도 분명 이와 같을 것입니다.

이 메모는 모든 연방 기관이 60일 이내에 “AI에 대한 상당한 전문성”을 갖춘 최고 AI 책임자를 유지하거나 지정하고, 180일 이내에 AI 발전 전략을 발표하도록 의무화합니다. 또한 AI를 의사 결정이나 조치의 주된 근거로 사용하는 것이 “고영향”으로 간주되는 범주의 목록도 포함합니다. 그 예시는 다음과 같습니다:

응급 서비스, 식품 안전 및 교통 관제 시스템을 포함한 기반 시설 또는 정부 시설의 안전 필수 기능;
의료 분야에서 의료기기의 의학적으로 중요한 기능, 환자 진단 또는 치료, 건강보험 비용 및 보험 인수 심사 관리
정부 시설에 대한 접근 통제 또는 보안;
법 집행 분야에서 개인에 대한 위험 평가 수행, 용의자 식별, 범죄 예측, 사람 및 차량 추적, 생체 인식 기술 적용, 소셜 미디어 모니터링, 무기 또는 폭력 행위 탐지, 구금·형량 선고·가석방 또는 보석 관련 결정
대출 및 공공주택 이용을 포함한 주요 연방 서비스, 절차 및 혜택을 신청하거나 관련 요청을 심사·결정할 수 있는 능력;
급여 또는 승진, 성과 관리, 채용 또는 해고, 징계 조치 등 연방 공무원의 고용 조건을 결정하는 행위.

주의: 에이전트 작업 중

이 목록은 모든 사례를 망라한 것은 아니지만, 백악관이 이러한 활동과 그 밖의 중대한 결과를 초래할 수 있는 활동을 AI의 현실적인 활용 사례로 보고 있음을 시사합니다. 이 메모는 AI 에이전트를 구체적으로 언급하지 않지만, 주택, 대출 또는 복지 혜택에 대한 접근 여부를 결정하는 것과 같은 활용 사례 대부분은 모델을 다른 도구 및 데이터베이스와 연결해야 하며, 여기에는 민감한 개인 식별 정보가 포함될 가능성이 높습니다.

이는 문제가 됩니다. AI 에이전트의 ‘두뇌’ 역할을 하는 모든 주요 AI 모델에서 취약점이 확인되었기 때문입니다. 기업 차원에서 비즈니스 활동에 AI를 활용할 때는 이러한 점을 반드시 신중하게 고려해야 합니다. 최신 OWASP의 생성형 AI 보안 사고 및 익스플로잇 종합 보고서에서는 악의적 행위자가 모델의 안전장치를 우회하고 AI를 피싱 및 음성 복제 사기에 악용하는 사례 등을 다룹니다. 여기에 상호 연결성과 상호 운용성까지 더해지면 새로운 공격 경로가 생겨나 보안 위험이 크게 높아집니다.

문제를 더욱 악화시키는 것은 위협 수준이 에이전트에 연결된 도구의 수와 정비례한다는 점입니다. 에이전트에 데이터베이스 접근 권한이 있다면 조직 내 모든 데이터베이스가 잠재적인 위험에 노출될 수 있습니다. 또한 이메일과 브라우저에 접근할 수 있다면 이메일 시스템이 악성 에이전트와 연결되어, 피싱을 통해 조직 침투를 끊임없이 시도할 수도 있습니다. (인간 공격자와 달리 에이전트는 지치지 않고 실시간으로 대응할 수 있어 공격의 신빙성을 한층 높입니다.)

이제 결합에 따른 위험을 생각해 보겠습니다. 데이터베이스와 이메일에 모두 접근할 수 있는 에이전트는 악의적인 행위자에 의해 무기화되어 데이터를 유출하거나 시스템에 새로운 데이터를 주입하는 침투 공격을 수행하는 데 악용될 수 있습니다. 또한 내부자는 이미 조직의 방어 체계 안에 있으므로, 실수로든 악의적으로든 에이전트를 오용해 더 큰 피해를 초래할 위험도 있습니다.

모델의 범용화가 가속화되면서 업무용 AI 시스템과 에이전트를 평가할 때 핵심적인 차별화 요소는 성능이 아니라 보안이라는 점이 분명해지고 있습니다. 성능이 뛰어나더라도 공격이나 악용에 취약한 시스템은 기업이나 연방 정부 환경에서 사용될 수 없습니다.

한편, 이 메모는 연방 기관에 ‘신뢰할 수 있는 AI’를 배포하고 영향력이 큰 AI에 대한 최소한의 위험 관리 관행을 시행하도록 지시합니다. 영향력이 큰 AI가 적정 수준의 성능을 내지 못하는 경우, 기관은 규정 준수를 위한 조치가 이루어질 때까지 해당 AI의 사용을 중단하는 계획을 마련해야 합니다. AI 에이전트 도입을 검토하는 기업도 이와 유사한 계획을 마련해야 합니다.

새로운 보안 대응

그러나 효과적인 위험 관리는 사건 발생 후의 대응에 초점을 맞추기보다 사건이 발생하기 전에 시작되어야 합니다. 에이전트가 초래하는 위협을 이해하는 것이 이에 대처하기 위한 첫걸음입니다. 특정 에이전트의 위협 수준을 정확히 측정하는 것은 필수적입니다. 첫째, 조치가 필요한지 판단하고, 둘째, 적절한 조치에 대해 충분한 정보를 바탕으로 결정을 내리기 위해서입니다.

보안 대응이 지나치면 혁신을 저해할 수 있고, 부족하면 위협을 효과적으로 줄이지 못합니다. 그러나 AI는 학습하고 적응할 수 있기 때문에, 수동 레드팀 활동이나 모든 공격을 동일하게 취급하는 공격 성공률(Attack Success Rate)과 같은 단순한 지표 등 기존 도구만으로는 AI가 초래하는 위협에 적절히 대응하기 어렵습니다.

복잡한 새로운 위협 벡터에는 새로운 보안 대응이 필요합니다. 이러한 상황에서 조직이 보안 역량을 효과적으로 강화하는 가장 좋은 방법은 공격의 유형과 복잡성을 정확히 파악하고 적절한 조치를 취하는 것입니다.

이를 가장 효과적으로 달성하려면 지능형 맞춤형 AI 에이전트로 적대적 상호작용을 시뮬레이션하고 출시 전에 AI 시스템의 레드팀 테스트를 자동화하는 등, 이열치열 방식으로 대응해야 합니다. F5 AI Red Team은 기업에 테스트 에이전트 팀을 제공하여 보안 책임자가 AI의 위협 수준을 정량화하고 그에 따라 문제를 해결할 수 있도록 지원합니다.

자동화된 레드팀 테스트는 실제 환경에서의 활동을 가장 유사하게 재현할 뿐만 아니라, 전통적으로 공격자에게 유리했던 시간적 여지를 없애 기업이 가능한 한 신속하게 가장 효과적인 보안 범위를 확보할 수 있도록 합니다. F5는 고유한 보안 평가 지표인 종합 AI 보안 지수(CASI)와 에이전틱 저항 점수(ARS),를 개발했습니다. 이 지표들은 AI 모델의 보안 수준을 평가하고 각 리더보드의 순위를 결정하는 데 활용됩니다.

물론 보안은 결코 ‘한 번으로 끝나는’ 일이 아니며, 에이전트도 예외가 아닙니다. 위협 노출을 낮은 수준으로 유지하고 적절한 보안 태세를 지속하려면 상시 모니터링이 필수적입니다. 에이전틱 AI가 확산됨에 따라, 선제적인 보안 접근 방식은 에이전트를 안전하게 도입하고 AI가 본래 목적에 맞게 활용되도록 가속할 수 있는 최선의 방안입니다.