위협 모델링 및 인시던트 대응을 위한 생성형 AI

Caitlin Arnspiger

몇 년 전만 해도 우리 대부분은 ‘생성형 AI’라고 하면 초현실적인 초상화를 그리거나 음악을 작곡하고, 심지어 단편 소설을 쓰는 것과 같은 예술적 활동을 떠올렸습니다. 하지만 오늘날에는 이러한 생성 기술이 사이버 보안을 위한 강력한 도구로 거듭나고 있습니다. 한때 기발한 고양이 이미지를 만드는 데 쓰이던 기술이 이제는 정교한 위협 벡터를 탐지하고 실제 보안 사고에 대응하는 데 도움을 주고 있다는 점은 다소 아이러니합니다.

하지만 생성형 AI와 사이버 보안의 융합은 그저 과장된 유행에 불과할까요? 아니면 공격을 탐지하고 완화하는 데 걸리는 평균 시간을 획기적으로 단축할 수 있는 위협 모델링 및 인시던트 대응의 새로운 시대를 눈앞에 두고 있는 걸까요? 저는 생성형 AI가 새로운 위협을 식별하고 효율적인 데이터 기반 대응을 체계적으로 수행하는 데 있어 판도를 바꿀 기술로 자리매김할 것이라고 봅니다. 하지만 다른 신흥 기술과 마찬가지로 함정이 없는 것은 아닙니다. 자세히 살펴보겠습니다.

핵심 주장: 생성형 AI는 패턴을 종합하고 새로운 공격 경로를 예측하며 대응 전략을 자동화하는 고유한 능력을 바탕으로 위협 모델링 및 사고 대응 역량을 크게 향상할 것입니다. 단, 신뢰성, 윤리, 데이터 거버넌스와 관련된 과제를 정면으로 해결해야만 합니다.

사이버 위협은 무서운 속도로 진화하고 있으며, 기존의 규칙 기반 또는 시그니처 기반 시스템은 이러한 변화에 뒤처지는 경우가 많습니다. 고급 대규모 언어 모델과 같은 생성형 모델은 기존 휴리스틱의 범위를 훨씬 뛰어넘어 이상 징후를 탐지하고 향후 발생할 수 있는 공격 패턴을 추론할 수 있습니다. 하지만 잘못된 양성 결과를 ‘환각’하거나 의도치 않게 악성 코드를 생성할 가능성 등 새로운 취약점도 초래합니다. 따라서 이러한 역량에는 기대와 경계를 동시에 품고 접근해야 합니다.

알려진 시그니처를 넘어선 위협 모델링

위협 모델링에 생성형 AI를 사용하는 이유는 무엇인가요?

전통적으로 위협 모델링은 알려진 공격 시그니처, 과거의 패턴, 인간 전문가의 지식에 의존해 왔습니다. 하지만 다형성 멀웨어, 공급망 취약점, 제로데이 익스플로잇이 급증하면서 순전히 사후 대응에 의존하는 방식만으로는 충분하지 않게 되었습니다.

이때 생성형 AI가 등장합니다. 오늘날 “생성형”이라는 말은 흔히 대규모 언어 모델(LLM)을 뜻하지만, 새로운 데이터 패턴을 생성할 수 있는 다른 알고리즘도 포함할 수 있습니다. 이러한 모델은 방대한 텔레메트리 데이터 세트에서 의심스러운 명령 시퀀스, 측면 이동 시도, 데이터 유출 패턴과 같은 미묘한 상관관계를 포착합니다. 중요한 점은 이러한 모델이 무엇이 “악성”인지 명시적으로 지정한 레이블에만 의존하지 않는다는 것입니다. 대신 “정상적인” 행동의 기본 분포를 학습하여 위협으로 명시되지 않은 이상 징후도 탐지할 수 있습니다.

하지만 이상 징후를 탐지하는 것은 첫 단계에 불과합니다. 특정 행동이 악성인지 정상인지 아무도 분류해 놓지 않았다면, LLM(또는 기타 생성형 접근 방식)이 해당 행동이 실제로 악의적인 것인지 아니면 단지 이례적인 것인지 확인할 수 있도록 추가 분류기나 휴리스틱 검사와 연계해야 할 수 있습니다. 예를 들어 새로운 측면 이동 패턴을 의심스러운 것으로 추정할 수 있지만, 일부 조직에서는 거의 접속하지 않는 점프 호스트를 정상적으로 사용하기 때문에 맥락상 해당 이상 징후가 무해할 수도 있습니다. 궁극적으로 생성형 AI는 기존 시그니처로는 포착하기 어려운 가능성을 찾아내는 데 탁월하지만, 어떤 이상 징후가 실제 위협인지 판단하려면 자동화된 방식이든 사람이 주도하는 방식이든 강력한 의사 결정 로직과 결합해야 합니다.

실제 환경에서의 시험: F5 샌드박스 환경

F5에서는 진화하는 위협 환경에서 생성형 AI 모델이 어떤 성능을 보일지 알아보기 위해 2024년 말 통제된 시뮬레이션을 진행했습니다. 내부 F5 테스트 환경에 멀티테넌트 환경의 익명화된 로그 데이터를 입력하면서, 이전에 발견된 적 없는 새로운 공격 패턴을 의도적으로 주입했습니다. 처음에는 모델이 몇 차례 ‘오탐’을 일으켰지만(이러한 모델은 지나치게 민감하게 반응할 수 있습니다), 반복 학습을 거치면서 기존의 시그니처 기반 시스템보다 더 정확하게 이상 징후를 탐지하기 시작했습니다. 정말 인상적인 점은 무엇이었을까요? 이 모델은 블루팀 분석가들조차 고려하지 못했던 잠재적 익스플로잇까지 포착했습니다. 예를 들어 정상적인 파일 공유 프로토콜로 위장한 특정 측면 이동 시도 등이었습니다.

‘평균 해결 시간’ 단축

적응형 대응 플레이북

생성형 모델은 탐지에만 쓰이는 것이 아닙니다. 인시던트가 발생하면 권장 대응 플레이북을 신속하게 생성할 수 있습니다. 실시간 로그를 모니터링하고, 여러 데이터 소스의 인텔리전스를 통합하며, 체계적인 대응 계획을 제안하는 AI 협업자라고 생각하면 됩니다.

예를 들어 시스템이 고위험 이상 징후를 감지하면 동적 방화벽 정책을 적용하거나 의심스러운 가상 머신(VM)을 격리하도록 권고할 수 있습니다. 또한 과거의 사고로부터 학습하므로 이러한 권고 사항은 시간이 지날수록 더욱 정교해집니다. 이는 초기 설정 후에는 거의 업데이트되지 않는 정적인 런북에서 크게 진일보한 것입니다.

대규모 도구 오케스트레이션

최근 주요 보안 컨퍼런스(예: Black Hat 2024 및 올해 새롭게 출범한 AI-SecOps Summit)에서 생성형 AI 통합이 잇따르는 추세를 확인할 수 있습니다. 이러한 통합은 AI 계층이 SIEM, 엔드포인트 보호, WAF 등 여러 보안 도구를 실시간으로 조율하는 ‘자율형’ 또는 ‘에이전트형’ 대응에 초점을 맞추고 있습니다. 오늘날 멀티클라우드가 보편화된 상황에서 AWS, Azure, 온프레미스 환경 전반의 위협 대응을 조율하는 단일 생성형 모델은 매우 매력적인 선택지로 떠오르고 있습니다.

하지만 여기에는 함정이 있습니다. 낡거나 비효율적인 프로세스를 단순히 자동화하기만 한다면, 전반적인 보안 태세를 개선하기는커녕 ‘더 빠르게 실패’할 위험이 있습니다. 근본적인 워크플로를 재고하지 않은 채 AI를 도입하면 잘못된 절차의 실행만 가속화할 수 있습니다. 따라서 AI는 기존 업무의 속도를 높이는 수단이 아니라, 보안과 배포에 접근하는 방식을 새롭게 구상하도록 촉진하는 동력으로 바라봐야 합니다.

또한 생성형 모델이 대응을 자동화할 수 있다고 해서 반드시 자동화해야 하는 것은 아니라는 점도 유의해야 합니다. 중요한 의사 결정에는 사람이 계속 관여할 수 있도록 안전장치와 에스컬레이션 경로를 마련해야 합니다(예: 프로덕션 환경의 전체 세그먼트를 격리하는 경우). 요컨대, 단순히 속도만 높이는 것이 아니라 프로세스의 근간 자체를 개선할 의지가 있다면, 생성형 AI는 기존의 가정에 도전하고 더 효율적이고 적응력 있는 인시던트 대응 프레임워크를 설계할 수 있는 흥미로운 기회를 제공합니다.

2025년의 최신 화제

• LLM 경쟁은 계속됩니다: 주요 클라우드 제공업체들은 가장 ‘안전한’ 대규모 언어 모델(LLM)을 출시하기 위해 경쟁하고 있으며, 저마다 고도화된 미세 조정을 통해 환각을 줄이고 규정 준수를 개선했다고 주장합니다.
• 오픈 소스 프로젝트: AI-SIGS 또는 ThreatGen과 같은 커뮤니티 주도 이니셔티브가 등장하면서 보안 연구자들이 맞춤형 생성형 위협 모델을 구축할 수 있는 오픈 소스 프레임워크를 제공하고 있습니다.
• 규제 당국의 주목: EU의 새로운 AI 규제안은 생성형 사이버 보안 애플리케이션을 ‘고위험’ 기술로 분류하고, 투명성과 명확한 데이터 출처 공개를 요구합니다.

지금은 기대감이 고조되는 시기입니다. 기존 솔루션을 단숨에 뛰어넘고자 하는 대기업과 중견 기업의 도입이 늘고 있습니다. 하지만 조직이 강력한 데이터 거버넌스, 모델의 설명 가능성, 책임 체계와 같은 기본 단계를 건너뛴 채 생성형 AI 도입을 서두르면 문제가 발생할 수 있습니다.

환각, 개인정보 보호 및 윤리적 딜레마

생성형 모델은 창의적인 추론으로 놀라움을 선사할 수 있지만, 실제로 존재하지 않는 위협을 그럴듯하게 ‘환각’할 수도 있습니다. 오탐이 쏟아지면 보안 운영팀이 무의미한 경고의 홍수에 파묻힐 수 있습니다. 시간이 지나면서 이는 AI 기반 시스템에 대한 신뢰를 떨어뜨릴 수 있습니다.

강력한 모델을 학습시키려면 아주 많은 데이터가 필요합니다. 지역에 따라 개인정보 보호법으로 인해 사용할 수 있는 로그나 원격 측정 데이터가 제한될 수 있습니다. 규정 준수와 관련된 심각한 문제를 방지하고 윤리적인 데이터 사용 원칙을 지키려면 민감한 사용자 데이터를 정제하거나 익명화하는 것이 필수적입니다.

우리는 그 이면의 어두운 측면도 간과할 수 없습니다. 위협 행위자들은 생성형 AI를 활용해 그럴듯한 피싱 이메일을 작성하고, 새로운 형태의 멀웨어를 개발하거나, 제로데이 취약점을 더 빠르게 찾아낼 수 있으며 실제로 그렇게 해 왔습니다. 우리가 이러한 방어 역량을 구축하는 동안 공격자들도 공격 역량을 강화하고 있다고 전제해야 합니다.

미래를 받아들이기

앞으로는 생성형 AI가 모든 SecOps 툴킷의 표준 계층으로 자리 잡을 수 있습니다현재의 취약점 스캐너나 침입 탐지 시스템만큼 긴밀하게 통합되는 것입니다. AI가 결론에 도달하는 과정을 더욱 투명하게 보여주는 등 설명 가능성이 향상되면, 보안 팀은 위협 모델링 수명 주기의 더 많은 부분을 AI에 맡길 수 있다는 확신을 갖게 될 것입니다.

또한 서로 다른 조직에서 학습된 생성형 모델이 개인정보를 보호하면서 일부 인사이트를 공유하는 글로벌 위협 인텔리전스 연합이 등장할 수도 있습니다. 이를 통해 산업 전반에서 제로데이 공격에 더 빠르고 체계적으로 대응할 수 있을 것입니다.

그럼에도 아직은 초기 단계라는 점을 다시 한번 강조할 필요가 있습니다. 조직은 미션 크리티컬한 상황에서 생성형 AI에 의존하기 전에 데이터 모범 사례, 견고한 학습 파이프라인, 명확하게 정의된 거버넌스에 투자해야 합니다.

보안을 새롭게 바라볼 준비가 되셨나요?

생성형 AI는 기존의 위협 모델링 및 인시던트 대응 방식을 근본적으로 바꿀 잠재력이 있습니다. 패턴을 창의적으로 분석하고 대응 전략을 자동화함으로써 전례 없는 속도와 정확성을 제공할 수 있습니다. 단, 환각, 규정 준수, 윤리적 안전장치와 같은 본질적인 과제를 해결한다는 전제가 필요합니다.

작성자 소개

Caitlin Arnspiger

Caitlin Arnspiger의 다른 블로그 게시물