AI 시대의 공격 탐구

기존 정보 보안 문제만으로도 고군분투하고 있는 CISO에게 AI는 완전히 새로운 골칫거리입니다. 이제 공장, 연구실, 사무실 등 어떤 환경이든 AI를 도입하거나 기존 기술에 AI를 통해 접근할 수 있게 하는 순간, 등장한 지 0일밖에 되지 않은 완전히 새로운 공격 표면이 생겨납니다.

ChatGPT, Gemini, Llama, DeepSeek-R1을 비롯한 모든 주요 AI 모델에서 이미 취약점이 발견되었습니다. 조직들이 AI 에이전트를 더 광범위한 시스템에 연결하려는 움직임을 보이면서, 위협 행위자들 역시 이에 발맞춰 AI를 침투 경로로 삼기 위해 탐색하고 있습니다. 이들이 성공할 경우 공격의 피해 범위는 기하급수적으로 확대될 수 있습니다.

공격자가 어떻게 활동하는지 이해하는 것은 AI 시대에 강력한 보안 태세를 확립하는 데 핵심적입니다. 공격 단계를 분석하면 취약점을 파악하고, 방어 체계를 선제적으로 강화하여 잠재적인 피해를 방지할 수 있는 기반을 마련할 수 있습니다.

기존의 ‘규칙’이 적용됩니다

조직적인 공격자는 공격을 통해 달성하려는 명확한 목표를 가지고 있습니다. 그런 다음 공격자는 영역에 초점을 맞춥니다. 예를 들어 목표가 한 국가에 피해를 주는 것이라면, 해당 영역에는 의료 부문, 은행 시스템 또는 항공 교통 관제 등이 포함됩니다.

위협 행위자에게는 분야 선택이 중요합니다. 분야마다 보안 규칙과 규제, 방어 체계가 다르기 때문입니다. 금융 서비스는 전 세계적으로 가장 강력하게 보호되는 분야 중 하나인 반면, 의료 서비스는 전통적으로 정보 보안에 취약합니다. 그러나 보호 체계가 잘 갖춰진 시스템에서도 AI로 인해 공격자에게 새로운 침투 경로가 열리고 있습니다.

도메인을 선택한 다음에는 구체적인 표적을 선정합니다. 보험사를 상대로 사기를 저지르는 것이 목적이라면 규모, 위치, 보안 기준 등의 특성에 따라 선택할 수 있는 표적이 많습니다. 적절한 AI 보안 통제 없이 AI 도입을 대대적으로 홍보하는 기업은 표적이 될 수 있습니다. 선도자의 이점에도 단점은 있기 마련입니다.

표적 연구

표적이 식별되면 위협 행위자는 정찰 단계로 전환합니다. 공격 대상으로 삼을 수 있는 접근 가능한 자산은 무엇일까요? 여기서 중요한 단어는 ‘접근 가능한’입니다. 접근 가능한 자산은 일반적으로 웹사이트, 모바일 앱, ATM, 외부에 공개된 서버처럼 사람들이 상호작용하는 대상입니다.

하지만 위협 행위자는 눈에 잘 띄는 지점만 노리는 것이 아닙니다. 조직에는 자주 사용되지 않는 네트워크 접점이 많을 수 있으며, 그중 하나라도 실수로 활성화된 채 방치되면 중요 시스템에 접근하는 데 악용될 수 있습니다. 에이전틱 AI도 이제 고려해야 합니다. AI가 가상 및 물리적 개체와 점점 더 많이 연결됨에 따라, 이전에는 접근할 수 없었던 자산에도 이제 접근할 수 있게 된 것은 아닐까요?

공격자에게 취약점 탐색은 시스템에 접근할 방법을 찾는 가장 간단하고 효율적인 수단입니다. 이를 수행하는 방법은 다양하며, AI는 AI 모델이 일상적인 사용 사례와 접점을 이루는 추론 계층을 비롯해 새로운 경로를 열었습니다.

AI의 해부학적 구조를 드러내다

이제부터는 기술적인 내용입니다. 공격자는 AI 애플리케이션을 탐색하기 위해 웹 채팅 인터페이스를 사용하는 대신 해당 웹사이트에서 ‘소스 보기’를 사용합니다. ‘네트워크’ 탭을 클릭하면 AI 애플리케이션에 채팅 내용을 입력했을 때 해당 내용이 전송되는 엔드포인트를 확인할 수 있습니다.

공격자는 웹사이트를 통하지 않고 명령줄 터미널에서 해당 엔드포인트에 직접 접근하여 원시 응답을 받아볼 수 있습니다. 이를 통해 공격을 더 진행할 방법에 대한 단서를 제공하는 추가 메타데이터 등 웹사이트 경로에는 표시되지 않는 항목을 찾아낼 수 있습니다.

이 단계에서 해커는 진전을 이루고 있습니다. 처음에 6개의 자산을 식별했고 그중 2개에서 유용한 메타데이터를 발견했다면, 이제 최초의 잠재적 접근 경로를 확보한 셈입니다. 취약성이 낮은 자산은 일단 보류할 수 있지만, 첫 번째 시도가 실패하면 공격자가 다시 돌아와 더 자세히 살펴볼 수도 있습니다.

다양한 선택지

심각한 위협 행위자는 다양한 도구를 보유하고 있어 공격 수위를 단계적으로 높여갈 수 있습니다. 쉽게 말해, 가장 저렴하고 빠른 공격부터 시작하며 최고의 공격 수단은 드러내지 않으려 합니다. 폰 하나로 충분한 상황에서 가장 정교한 수를 보여줄 체스 그랜드마스터는 없기 때문입니다.

정교한 공격 무기는 가치가 높지만, 일단 식별되면 향후 방어 대책이 마련되어 무용지물이 될 가능성이 큽니다. 따라서 공격자는 가장 귀중한 무기를 위험에 빠뜨리기보다는 낮은 수준에서 중간 수준의 공격 수법으로 여러 자산을 번갈아 노릴 가능성이 높습니다.

물론 예외도 있습니다. 표적의 가치가 충분히 높다면 공격자는 가장 정교한 무기를 동원하는 쪽으로 공격 수위를 높일 수 있습니다.

공격 결과

공격이 성공하면 두 가지 결과 중 하나로 이어집니다. 바로 유출 또는 삽입입니다. 유출은 둘 중 더 직접적인 방식으로, 금전, 금융 데이터 또는 민감한 고객 정보와 같이 가치 있는 무언가를 표적으로부터 빼내는 것을 의미합니다.

에이전트형 AI에서는 위험이 더욱 커집니다. 에이전트형 AI 시스템이 Model Context Protocol(MCP)을 사용하는 사례가 보편화되고 있습니다. Anthropic 등이 주도하는 MCP는 브라우저 및 비즈니스 도구와 같은 애플리케이션과 연동하기 위한 개방형 표준입니다.

물론 브라우저는 이메일 시스템부터 은행 계좌와 예약 엔진에 이르기까지 모든 것에 접근하는 창구입니다. 비즈니스 도구는 독점 정보에 접근할 수 있습니다. 이러한 환경에서는 MCP를 통해 에이전트형 AI에 연결되는 모든 것을 중대한 신규 공격 표면으로 간주해야 합니다.

삽입 공격은 실행하기가 더 어렵고 피해도 더 클 수 있습니다. 집에 도둑이 든 상황을 예로 들어 보겠습니다. 당장은 무엇을 도난당했는지가 가장 걱정되겠지만, 침입자가 카메라를 설치해 두고 여러분의 일거수일투족을 지켜볼 수 있다면 어떨까요?

디지털 영역에서는 MCP를 통해 브라우저와 애플리케이션에 접근할 수 있는 에이전트형 AI로 인해 정교한 삽입 공격을 위한 새로운 경로가 열립니다. 예를 들어 로그 엔드포인트를 수정해 외부 수집기로 로그를 전송하거나, 물리적 보안 일정을 변경해 주말에는 보안 시스템이 꺼지도록 할 수 있습니다.

위협 행위자는 공격 과정에서의 측면 이동도 고려합니다. 초기 침투를 통해 중간 관리자급 직원이 사용하는 노트북에 접근할 수 있으며, 이를 발판으로 시스템 내부를 이동하면서 권한을 더 높은 수준으로 상승시킬 경로를 찾을 수 있습니다.

오픈 소스 핸드북

AI의 모든 분야가 그렇듯 공격 환경도 빠르게 진화하고 있습니다. 초기 모델 개발자들은 내부 작동 방식을 철저히 비공개로 유지했지만, DeepSeek의 오픈 소스 접근 방식으로 인해 사실상 R1 모델의 안내서가 공개되면서 개발자와 위협 행위자 모두에게 판도를 바꾸는 계기가 되었습니다.

1월 말 R1이 출시된 이후 이미 7,000개가 넘는 파생 모델이 만들어졌으며, 이 중 상당수는 사실상 출처를 알 수 없습니다. 코드 공유는 혁신을 위해 환영할 일이지만, 위협 행위자들은 기존 및 향후 AI 모델을 공격할 방법을 찾기 위해 분명 R1의 작동 방식을 면밀히 살펴보고 있습니다.
이것이 바로 위협 행위자들의 사고방식이며, 보안 커뮤니티에 속한 우리도 이에 발맞춰야 합니다.

잠재적 위험을 완화하려면 AI 모델과 애플리케이션을 대상으로 선제적이고 지속적인 레드팀 테스트를 수행하는 등 강력한 방어 및 공격 보안 조치가 필수적임은 분명합니다. 의료 분야와 마찬가지로, 사후 분석보다는 예방적 관리가 바람직합니다.