AI 보안: 반드시 억제해야 할 잠재적 위협

DeepSeek; ChatGPT Deep Research; 5,000억 달러 규모의 미국 Stargate 계획까지, 현재 AI 분야에서 일어나고 있는 놀라운 발전의 속도를 따라잡기란 쉽지 않습니다. 한때 Spotify 추천과 Snapchat 필터를 위한 엔진 정도로만 여겨졌던 차세대 생성형 AI와 에이전트형 AI는 이제 신속한 연구부터 진단 가속화와 신약 개발에 이르기까지 놀라운 활용 사례를 만들어 내고 있습니다.

에이전트형 AI 시대가 자리 잡고 에이전트가 사람의 지시를 받아 자율적으로 업무를 수행하게 되면서 이러한 추세는 분명 더욱 가속화될 것입니다. 실제로 보스턴컨설팅그룹이 최근 실시한 AI Radar 설문조사에서 최고경영진 1,803명을 대상으로 조사한 결과, 31%가 2025년에 AI에 2,500만 달러 이상을 투자할 계획인 것으로 나타났습니다.

이 수치를 계산해 보겠습니다. 거의 600개 기업이 올해에만 AI에 각각 최소 2,500만 달러씩, 총 150억 달러를 지출하겠다고 밝힌 셈입니다. 오히려 보수적인 추산으로 보입니다.

BCG가 19개 시장의 12개 산업 분야에 걸쳐 설문 조사한 경영진 중 4분의 3은 AI를 3대 전략적 우선순위 중 하나로 꼽았습니다. 한편, 2024년 McKinsey AI 글로벌 설문조사에 참여한 1,363명 중 72%는 이미 하나 이상의 비즈니스 기능에 AI를 도입했다고 답했으며, 50%는 두 개 이상의 비즈니스 기능에 AI를 도입했다고 답했습니다.

잠재된 위협

그러나 이처럼 역동적인 환경에서는 새로운 활용 사례가 등장할 때마다 위협 행위자가 공격할 수 있는 새로운 영역이 생겨납니다. 어제는 안전했던 것이 내일도 안전하리라는 보장은 없습니다. 이미 위협이 현실로 나타나고 있지만, 보안에 대한 고려는 기업들의 AI 애플리케이션 도입 열기를 따라가지 못하고 있습니다.

저희는 많은 CISO와 이야기를 나누는데, 일부는 조직에 AI를 도입하면서도 자신들이 처한 위험 수준에 대해 거의 무관심에 가까울 정도로 대수롭지 않게 여깁니다. 당연하게도 규제가 엄격한 산업에서는 이러한 태도가 달라집니다.

우리 모두 초기 AI 시스템에서 널리 알려진 실패 사례를 잘 알고 있습니다. 배송업체의 욕설을 내뱉은 챗봇은 회사를 비판했고, 기사를 지어낸 뉴스 수집 서비스가 있었으며, 존재하지 않는 판례를 만들어낸 환각 현상은 실제 법정에까지 이어졌습니다. 심지어 Amazon도 AI 쇼핑 도우미 Rufus가 기반 LLM에 자유롭게 접근할 수 있도록 허용한 뒤 이를 수정해야 했습니다. Amazon은 브랜드 이미지 훼손뿐 아니라 악의적인 프롬프트를 처리하는 비용까지 부담해야 했습니다.

가장 심각한 사례로는 Character.AI가 민사 소송에 직면해 있습니다 14세 청소년이 이 회사의 역할극 챗봇 중 하나와 장시간 대화를 나눈 뒤 스스로 목숨을 끊은 사건 때문입니다. 해당 챗봇은 이 청소년에게 자살 계획이 있는지 물었으며, 자살을 부추기는 듯한 반응을 보였다고 합니다.

대체로 이러한 사건들은 불운한 예외적 사례로 취급됩니다. 하지만 오히려 악의적인 개입이 없더라도 AI가 어떻게 잘못될 수 있는지를 보여주는 균열이자 경고로 보아야 합니다. 악의까지 더해지면 피해 가능성은 배가됩니다.

떨림 감지

보안 커뮤니티에서는 이미 화산 폭발 전의 진동과도 같은 실제 위협의 징후가 포착되고 있습니다. OpenAI의 최신 위협 보고서에서는 중국에 기반을 둔 것으로 추정되는 공격자 SweetSpecter가 공격적인 사이버 작전을 지원하기 위해 ChatGPT를 사용하려 했던 정황을 설명합니다. 여기에는 다양한 애플리케이션의 취약점을 모델에 질문하고, 차단을 피할 수 있도록 이메일 첨부 파일에 사용할 ‘적절한’ 이름을 요청한 활동이 포함되었습니다.

동시에 이 악의적 행위자는 악성코드에 감염된 첨부 파일이 포함된 피싱 이메일을 OpenAI 직원들의 업무용 및 개인용 계정과 전 세계 정부 기관에 보냈습니다. 이는 OpenAI만의 문제처럼 들릴 수 있지만, 기반 모델을 토대로 애플리케이션을 구축하는 모든 사람과 모델 기반 애플리케이션을 사용하는 수많은 기업도 주의 깊게 살펴야 할 사안입니다.

한편, 최신 HP Wolf Security 위협 인사이트 보고서에서는 생성형 AI의 도움을 받아 작성되었을 “가능성이 매우 높은” 스크립트를 사용한 악성코드 캠페인이 최초로 탐지된 사례를 자세히 다룹니다. 스크립트의 구조와 주석, 함수명 및 변수명 선택에서 발견된 단서들은 위협 행위자가 생성형 AI를 사용해 악성코드를 제작했음을 시사합니다.

HP Wolf 팀은 다음과 같이 지적합니다. “이러한 활동은 생성형 AI가 공격을 가속화하고 사이버 범죄자가 엔드포인트를 감염시키는 진입 장벽을 낮추고 있음을 보여줍니다.” 선한 목적으로 활용될 수 있는 AI의 동일한 역량이 위협 행위자에 의해 악용되어 막대한 피해를 초래할 수 있으며, 실제로 그렇게 될 것입니다.

확대되는 공격 표면

앞으로 AI가 주도적인 산업으로 자리매김할 것이라는 점은 분명합니다. 지난해 전 세계 AI 스타트업에 대한 벤처 투자액은 1,315억 달러에 달했으며 이는 2023년 대비 52% 증가한 수치입니다. 2024년 4분기에는 전 세계 벤처캐피털 투자액의 절반 이상이 AI 기업에 투입되었습니다.

이러한 신생 기업들은 미래를 지향하며 끊임없이 개선을 거듭하고 새로운 제품을 출시하고 있습니다. 한편, 모든 산업 분야의 조직은 AI의 잠재력을 실현해야 한다는 압박을 받고 있습니다. 그 무엇도 고정적이거나 표준화되어 있거나 예측 가능하지 않은 세상에서 공격 표면은 계속 확대되고 있으며, 이에 따라 반드시 해결해야 할 보안 태세의 허점이 생겨나고 있습니다.

AI를 적극적으로 도입하지 않는 조직도 잠재된 위협을 인지해야 합니다. 앞서 살펴본 것처럼 AI 시스템은 피싱, 무차별 대입 공격, 동적 멀웨어, 서비스 거부 공격과 같은 기존 위협을 더욱 강력하게 만드는 데 사용될 수 있습니다.

새롭게 부상하는 AI 보안 환경에는 정적 위협과 에이전트형 위협뿐 아니라, 주로 런타임의 AI를 겨냥한 운영 공격도 포함됩니다. 직접 및 간접 프롬프트 인젝션은 AI 애플리케이션을 조작할 수 있어 보안 및 비용 측면의 우려를 높입니다.

오늘날 사용 가능한 모든 세계적 수준의 모델이 어느 정도는 ‘무력화’될 수 있다는 사실은 이미 잘 알려져 있습니다. 새로운 버전이 출시되고 AI 도입이 확대될수록 경계는 선택이 아닌 필수입니다.

폭발 방지

AI 시스템은 본질적으로 역동적이기 때문에 새로운 취약점이 예기치 않게 나타날 수 있으며, 실제로 나타날 것입니다. 전용 다계층 보안 프로토콜이 없다면 아무리 견고한 시스템이라도 흔들리고 실패할 수 있습니다. 조직은 AI 투자를 보호하기 위해 방어적 보안 역량과 공격적 조치를 결합하여 취약점을 선제적으로 식별해야 합니다.

조직은 사후에 소방 서비스에 의존하기보다 향후 발생할 화재를 감지할 수 있는 장비를 갖춰야 합니다. AI 모델과 애플리케이션에 대한 침투 테스트와 레드팀 활동을 통해 시스템 주변에 방어 경계를 구축하여 잠재된 위협이 실제로 활성화되지 않도록 할 수 있습니다.

메시지는 분명합니다. 지금 당장 AI가 주요 과제가 아니더라도, 위협 행위자들은 이미 빠르게 앞서 나가고 있으며 기존의 보안 우려에도 영향을 미치고 있습니다. AI의 미래가 이를 안전하게 보호할 수 있는 우리의 역량에 달려 있는 만큼, 이는 소수만이 아닌 모두가 함께 해결해야 할 문제입니다.