새로운 AI 위험 지형: 보이지 않고, 자율적이며, 이미 내부에 침투해 있다

James White최고기술책임자(CTO), AI 보안 | F5

2025년의 반환점을 맞은 지금, 기업의 AI 도입 현황과 AI 보안 실태를 짚어보기에 적절한 시점입니다.

기업의 생성형 AI 활용은 이제 표준으로 자리 잡았습니다

전반적으로 기업들은 최소한 생성형 AI에 대한 기본적인 이해를 갖추고 있습니다. 생성형 AI가 무엇인지, 어디에 활용할 수 있는지 알고 있습니다. 현재 생성형 AI를 사용할 수 없는 직종에 종사하고 있다면 시대의 흐름에 뒤처진 것입니다.

GenAI를 기반으로 애플리케이션을 구축하는 것이 기업 내에서 빠르게 표준으로 자리 잡고 있습니다. 실제로 고객들이 사내외에서 AI 앱을 프로덕션 환경에 배포하는 모습을 직접 확인하고 있습니다.

에이전트 도입은 크게 두 가지 방식으로 나뉩니다. 하나는 타사 솔루션을 통한 도입이고, 다른 하나는 자체 에이전트를 구축하는 것입니다. 타사를 통한 에이전트 도입은 상당히 진전되어 있지만, 기업들은 자신들이 이미 에이전트를 도입했다는 사실을 인지하지 못하는 경우가 많습니다. 브라우저에서 생성형 AI 모델 인터페이스를 사용하는 것으로 시작한 조직은 자신들이 에이전틱 AI도 함께 사용하고 있다는 사실을 모를 수 있습니다.

예를 들어 Google Gemini가 처음 출시되었을 때는 에이전트형 요소가 내장되어 있지 않았지만, 이제 Deep Research는 Gemini 내에서 작동하는 에이전트입니다. Deep Research에 프롬프트를 입력하면 수행할 작업과 필요한 웹 검색을 스스로 판단하고, 정보를 수집해 보고서를 작성합니다. 마찬가지로 Microsoft 365 Copilot에도 에이전트가 포함되어 있습니다.

독자적인 에이전트 구축은 주로 프로토타입 제작 및 실험 단계에 있지만, 에이전트의 발전 속도는 생성형 AI보다 훨씬 빠릅니다. 2024년에는 ‘이것이 정말 현실화될까? 위험 측면에서 실제로 차이가 있을까?’라는 의문이 있었습니다. 이제 그런 의문은 사라졌습니다. 기업들은 더 이상 의심하지 않습니다.

그렇기 때문에 에이전트와 에이전트 저항성을 이해하는 것이 매우 중요합니다.

MCP가 곧 보안을 의미하는 것은 아닙니다

많은 기업이 모델 컨텍스트 프로토콜(MCP)을 에이전트형 AI를 도입하는 유일한 방법으로 여기기 시작했습니다. 조직들은 ‘에이전트’라는 단어를 MCP로 대체하다시피 하며, ‘MCP를 구축한다’고 말합니다.

엄밀히 말하면 정확한 표현은 아닙니다. MCP는 에이전트가 작업을 수행할 때 사용할 수 있는 선택지의 목록을 나타냅니다. MCP 서버가 ‘사용 가능한 선택지는 이것입니다’라고 제시하면, MCP 클라이언트가 ‘이 선택지를 이런 방식으로 사용하겠습니다’라고 결정하는 구조라고 생각하면 됩니다. 그런 다음 AI 모델을 사용해 무엇을 어떻게 해야 할지 판단합니다.

이러한 구조에서도 위험은 여전히 모델에서 비롯됩니다. 또 다른 위험은 서버 소프트웨어에 존재합니다. 이러한 위험이 MCP를 통해 자동으로 제거되는 것은 아닙니다. 최근 보안 사고에서 확인했듯이, 이 프로토콜은 매우 우수하지만 기본적으로 안전하다고는 결코 할 수 없습니다. 예를 들어, Asana는 최근 Asana MCP 사용자의 데이터가 다른 계정의 사용자에게 노출될 수 있었던 버그를 발견해 공개했습니다.

MCP가 위험을 최소화한다고 가정하면 기업은 오히려 위험에 더 많이 노출될 수 있습니다. 현재 많은 고객과 잠재 고객이 ‘MCP를 어떻게 보호하는지 알려 달라’고 요청하고 있습니다. 이들은 사용 사례, 모델, 배포 패턴, 그리고 MCP 및 기타 표준을 통한 도구와의 상호작용을 종합적으로 검토하고 스트레스 테스트해야 합니다.

에이전틱 AI에서는 ‘어떻게’가 핵심입니다

그 이유는 무엇을 달성하는 방법은 다양하지만, 그중 상당수는 부적절하거나 잘못된 방법이기 때문입니다. 에이전트가 데이터베이스를 최신 상태로 유지하는 작업을 맡고, 데이터를 삭제하거나 삽입할 수 있는 접근 권한을 보유하고 있다고 가정해 보겠습니다. 예를 들어 회사명과 정확히 일치하는 항목을 찾아 제거함으로써 F5와 관련된 항목을 삭제할 수 있습니다.

하지만 에이전트가 ‘F* 레코드 삭제’라는 명령을 내리기로 결정해 F로 시작하는 모든 회사의 레코드를 삭제할 수도 있습니다. 이러한 무분별한 조치로도 같은 목표를 달성할 수는 있지만, 쉽게 복구하기 어려운 의도치 않은 결과가 연쇄적으로 발생할 수 있습니다. 비결정론적 모델이 행동을 주도하는 에이전트 시대에는 의도치 않은 행동 자체가 침해 사고입니다. 특히 안전장치가 미흡한 경우에는 더욱 그렇습니다. 에이전트의 행동을 이해하는 것은 에이전트를 성공적으로 도입하는 데 절대적으로 중요합니다.

엔터프라이즈 보안 스택이 한계에 직면하다

AI 보안은 기존 보안 솔루션을 조금 수정하는 수준이 아니라, 완전히 새로운 운영 방식을 의미합니다. 기업이 사용하는 모든 기존 소프트웨어는 시간이 지나면서 다른 형태로 변화하기 시작할 것입니다. 그리고 이를 어떻게 보호해야 할지는 현재로서는 명확하지 않습니다.

기존의 전통적인 보안 스택을 사용하는 조직에서는 이미 그 한계가 드러나고 있습니다. 이러한 보안 체계가 AI 이전 시대에 맞춰 설계되고 구축되었기 때문입니다. AI 시대에는 쓸모없는 정보부터 고품질의 미션 크리티컬 데이터에 이르기까지 새롭게 생성되는 정보의 양이 폭발적으로 증가하고 있습니다.

지난 수십 년간 사람이 생성한 트래픽을 분석해 온 시스템들은 이제 AI를 사용하는 사람이 생성하는 트래픽에 적응해야 하는 상황에 놓였습니다. 이것만으로도 이미 트래픽이 엄청나게 늘어납니다. 이제 에이전트가 정보를 생성하는 트래픽까지 더해진다고 상상해 보십시오. 그 증가세는 그야말로 기하급수적일 것입니다.

기존의 보안 스택은 이러한 현실에 맞게 설계되지 않았습니다. 이에 발맞추려면 대대적인 변화가 필요하며, 그 변화는 빠르면 빠를수록 좋습니다.

미래 엿보기: 아토믹 에이전트

오늘날 에이전트가 작동하려면 두뇌 역할을 하는 AI 모델이 필요합니다. 이 두뇌는 대개 중앙의 어딘가에 위치하며, 에이전트 프레임워크가 모델에 질문을 보내면 답변이 돌아옵니다. 에이전트와 모델 사이에서 이러한 상호작용이 반복되는 것이 기본적인 작동 방식입니다.

이러한 상황에서 에이전트가 통제를 벗어나면, 조직은 간단한 네트워크 규칙을 적용해 해당 에이전트의 모델 접근을 차단할 수 있습니다. 최악의 경우에는 모델을 종료할 수도 있습니다.

앞으로는 모델이 GPU가 필요 없을 정도로 작아져 서버실이나 클라우드에 둘 필요가 없어질 것입니다. ‘두뇌’가 에이전트와 같은 곳에서 실행되므로, 에이전트는 어디서든 효율적으로 작동하고 필요에 따라 규모를 확장하거나 축소할 수 있습니다. 그렇게 되면 보안 위험이 폭발적으로 증가합니다.

여기서 핵심 개념은 원자적 에이전트이며, 이러한 에이전트가 곧 등장할 것이라는 증거도 있습니다. Microsoft의 BitNet b1.58 2B4T는 CPU에서 실행되는 1비트 모델로, 무엇이 가능한지를 보여줍니다. 아직은 충분히 작지도, 빠르지도 않고, 성능도 충분하지 않을 가능성이 큽니다. 하지만 AI 시대에는 ‘아직’이 매우 빠르게 현실이 됩니다.

작성자 소개

James White최고기술책임자(CTO), AI 보안 | F5

James White는 엔터프라이즈 소프트웨어 업계에서 약 20년의 경력을 쌓은 뛰어난 엔지니어이자 비즈니스 리더입니다.

James White의 다른 블로그 게시물