웹 애플리케이션 보안의 진화: AI 기반 WAF와 런타임 위협 탐지가 사이버 방어를 혁신하는 방법

생성형 AI와 머신 러닝 도구는 조직이 혁신하고, 애플리케이션을 확장하며, 운영을 자동화할 수 있도록 지원하지만, 현대의 위협 행위자들 역시 바로 이러한 기술을 활용해 공격을 가속화하고, 변형하며, 자동화하고 있습니다.

보안 아키텍처가 이러한 변화에 발맞추기 위해 어떻게 발전해야 하는지 살펴보고자 F5는 "AI 기반 WAF로 위협 탐지 개선 및 오탐 감소"라는 제목의 웨비나를 개최했습니다.

이 프레젠테이션에서는 기존 웹 애플리케이션 방화벽(WAF)이 안고 있는 구조적 문제, 런타임 위협 탐지의 운영상 필요성, 그리고 혁신적인 AI 기반 기능을 비롯해 차세대 WAF를 이끄는 기술적 혁신을 심층적으로 살펴보았습니다.

다음은 세션에서 공유된 주요 주제, 실제 데이터, 기술 혁신 및 실무에 적용할 수 있는 핵심 내용을 종합적으로 정리한 것입니다.

현대 기업 환경: 보안을 재편하는 세 가지 요인

F5는 현재 모든 산업 분야에서 엔터프라이즈 IT 및 SecOps 팀의 운영 방식을 재정의하고 있는 세 가지 거시적 요인을 설명하며 세션을 시작했습니다:

• 하이브리드 멀티클라우드 환경: 현대 기업은 다양한 클라우드 및 온프레미스 환경 전반에서 유연성을 확보할 수 있도록 시스템을 구축합니다. 규제 대응 복원력에 대한 요구와 현대적인 애플리케이션 아키텍처에 힘입어 하이브리드 멀티클라우드는 새로운 전략에서 기업의 표준으로 자리 잡았습니다.
• AI 애플리케이션 도입 가속화: 자체 AI 모델을 사내에서 구축하거나 타사 AI 서비스를 통합하는 등, 조직들은 비즈니스 프로세스에 지능형 기능을 직접 내재화하고 있습니다. 웨비나 참석자를 대상으로 한 설문조사에 따르면, 참석 기업의 60% 이상이 현재 주요 비즈니스 워크플로에서 AI를 적극적으로 활용하고 있습니다.
• AI 기반 및 에이전트형 위협 환경: 공격자들도 그에 못지않게, 어쩌면 더 빠르게 AI를 도입하고 있습니다. 이제 공격자들은 LLM, 자동화된 에이전트형 도구, 정교한 스크립트를 활용해 취약점을 탐색하고 다단계 익스플로잇을 설계하며, 기계적인 속도로 공격 규모를 확대합니다.

취약점 발견부터 악용까지의 시간이 단축되고 있습니다

이처럼 변화하는 환경으로 인해 위협 활동이 급격히 증가했습니다. 최근 보안 데이터에 따르면 웹 공격은 전년 대비 77% 증가했으며, 악성 봇 트래픽은 150% 급증했습니다.

근본적인 문제는 보호 조치가 적용되기까지 걸리는 시간입니다. 과거에는 보안 팀이 공개된 공통 취약점 및 노출(CVE)이 광범위하게 악용되기 전에 패치를 적용할 수 있는 시간이 며칠, 몇 주, 심지어 몇 달까지 있었습니다. 하지만 오늘날에는 자동화된 스캔과 AI 기반 익스플로잇 생성으로 인해 그 시간이 불과 몇 시간으로 단축되었습니다. 제로데이 익스플로잇이 끊임없이 등장하는 시대에 기존의 패치 관리 워크플로로는 도저히 대응할 수 없습니다.

레거시 WAF의 구조적 한계

Chris Malladi가 설명했듯이, 웹 애플리케이션 방화벽은 20년 넘게 최전선에서 핵심적인 방어 역할을 해왔습니다. 하지만 기존 WAF 아키텍처는 현대적인 운영 요구를 감당하는 데 한계를 드러내고 있습니다. 웨비나 중 진행된 실시간 청중 설문조사에서는 SecOps 팀이 다음과 같은 세 가지 고질적인 문제에 직면하고 있는 것으로 확인되었습니다:

1. 배포 및 튜닝의 복잡성: 기존 WAF는 정적 시그니처 규칙과 정규 표현식(regex)에 크게 의존합니다. 고유한 애플리케이션 로직에 맞게 이러한 정책을 세밀하게 조정하려면 상당한 수작업이 필요합니다. 그 결과, 프로덕션 애플리케이션에 장애가 발생할 수 있다는 우려로 인해 많은 엔터프라이즈 WAF가 수개월 동안 "모니터링 모드"에 머물러 있습니다.
2. 오탐 피로: 정적 규칙을 지나치게 엄격하게 구성하면 정상적인 사용자 트래픽까지 차단됩니다. 높은 오탐률로 인해 SecOps 분석가는 불필요한 알림을 검토하고, 예외 목록을 관리하며, 기존 정책을 업데이트하는 끝없는 작업을 반복하게 됩니다.
3. 증가하는 운영 비용: 레거시 WAF를 소유하는 데 드는 실질적인 비용은 초기 라이선스 비용이 아니라 지속적인 운영 부담, 즉 끊임없는 수동 예외 관리, 전문 서비스 이용, 애플리케이션 배포 지연에서 발생합니다.

레거시 WAF는 주로 알려진 위협에 대응하도록 설계되었기 때문에, AI 도구가 페이로드를 인코딩하거나 난독화하거나 실시간으로 동적으로 변경하는 적응형 공격에는 효과적으로 대응하기 어렵습니다.

AI 기반 WAF: 기술 아키텍처 및 성과

엄격한 보안 적용과 운영 편의성 간의 상충 관계를 해결하기 위해 F5는 근본적으로 아키텍처를 재설계한 방어 엔진인 AI 기반 WAF를 도입했습니다.

Debrup Ghosh는 이처럼 진화하는 아키텍처의 작동 방식을 기술적으로 상세히 설명했습니다. 이 엔진은 정적 패턴 매칭에만 의존하는 대신, 트래픽 경로에 다계층 위험 인텔리전스 파이프라인을 직접 구현합니다:

• 시그니처 및 지표 매칭: 기본 필터링을 통해 알려진 공격 시그니처와 악성 지표를 신속하게 식별합니다.
• 마이크로초 단위의 인라인 신경망: 특수 머신러닝 모델이 HTTP 트래픽 동작, 헤더 매개변수 및 본문 페이로드를 실시간으로 검사합니다. 특히 이 신경망은 표준 CPU에서만 실행되면서도 지연 시간이 거의 없어, 비용이 많이 드는 GPU 인프라가 필요하지 않습니다.
• 동적 위험 점수 산정: 엔진은 신호 데이터를 종합하여 상황과 결과에 기반한 위험 평가를 수행합니다. SecOps 팀은 수천 개의 개별 시그니처를 관리하는 대신 전역 위험 적용 정책만 정의하면 됩니다.
• 에이전트형 위협 인텔리전스: 실시간 탐지 정보를 글로벌 위협 텔레메트리와 연계하여 공격의 배후에 있는 특정 위협 행위자와 적대적 캠페인을 식별합니다.

정적 규칙 세트에서 AI 기반 WAF로 전환하면 위협 방어 효과와 SecOps 생산성이 모두 획기적이고 정량적으로 향상됩니다. 오탐을 95% 이상 줄임으로써 조직은 거의 즉시 WAF 정책을 능동 차단 모드로 안전하게 전환하여 사용자 불편을 초래할 위험 없이 보안 공백을 해소할 수 있습니다.

실제 사례 연구: 제로데이 익스플로잇 방어

웨비나에서 가장 인상적인 내용 중 하나는 AI 기반 WAF가 새롭게 발견되어 아직 패치되지 않은 취약점에 어떻게 대응하는지를 보여주는 실제 사례 연구였습니다.

2026년 4월, F5의 인라인 신경망 엔진은 공개 권고가 발표되거나 공식 시그니처가 생성되기 전에 프로덕션 환경에서 5건의 치명적인 제로데이 익스플로잇을 성공적으로 탐지하고 차단했습니다.

주목할 만한 사례로는 엔터프라이즈 모바일 관리 소프트웨어의 제로데이 취약점이 있었습니다(여기에는 CVSS 점수 9.8로 ‘심각’ 등급을 받은 CVE-2026-1340 및 CVE-2026-1281과 같은 중대한 CVE가 관련되어 있습니다).

AI 엔진은 다단계 원격 코드 실행(RCE) 페이로드와 관련된 비정상적인 헤더 구조를 탐지하고, 네트워크 엣지에서 해당 요청을 즉시 차단했습니다. F5 Agentic Threat Intelligence는 이 익스플로잇의 기반 인프라가 이란계 APT 그룹인 MuddyWater와 Handala를 비롯한 알려진 국가 배후 위협 행위자들과 연계되어 있음을 밝혀냈습니다.

AI 기반 WAF를 사용하는 고객은 SecOps 팀이 수동으로 규칙을 생성하거나 긴급 패치 적용 시점을 기다릴 필요 없이 자동으로 보호받았습니다.

런타임 위협 탐지의 필요성

취약점이 늘어나고 소프트웨어 업데이트 주기가 AI로 생성된 익스플로잇의 발전 속도를 따라잡기 어려워짐에 따라, 런타임 위협 탐지는 애플리케이션 방어에 없어서는 안 될 핵심 요소가 되고 있습니다.

Q&A 세션에서 Debrup Ghosh는 소프트웨어 패치가 나오기를 기다리는 것만으로는 더 이상 유효한 전략이 될 수 없는 이유를 강조했습니다. 추론 모델이 코드베이스를 체계적으로 분석하고 새로운 익스플로잇 페이로드를 자동으로 생성할 수 있는 포스트 Mythos 시대에는 보안 팀이 런타임에서 의도와 맥락을 즉시 검사하는 방어 체계를 구축해야 합니다.

AI WAF 기능의 향후 로드맵

F5는 AI 기반 WAF 솔루션의 지속적인 발전을 위한 명확한 로드맵을 제시했습니다:

• 자동화된 이상 탐지: 애플리케이션의 기준 동작을 지속적으로 학습하여 미세한 편차를 탐지합니다.
• AI 기반 정책 관리: Copilot이 지원하는 정책 권장 사항을 통해 예외 목록을 자동으로 조정하는 동시에 인간 분석가가 지속적으로 관여할 수 있도록 합니다.
• 고급 행동 탐지: 개별 HTTP 트랜잭션이 아닌 사용자 세션 전반에서 다단계 공격 시퀀스와 악의적인 의도를 식별합니다.
• 포트폴리오 전반의 통합: CPU 효율적인 이러한 신경망 엔진을 Distributed Cloud용 WAF, NGINX용 WAF 및 BIG-IP용 WAF를 비롯한 모든 WAF 폼 팩터로 확장합니다.

보안 리더를 위한 핵심 요점

CISO, SecOps 책임자 및 애플리케이션 아키텍트가 이번 웨비나에서 얻을 수 있는 인사이트는 다음과 같은 몇 가지 명확한 실행 과제를 제시합니다:

• 체크리스트식 보안에서 실효성 중심의 방어로 전환: 정적 시그니처 매칭만으로는 자동화된 공격자에 대응하기에 충분하지 않습니다. 최신 WAAP 솔루션에는 머신러닝 기반 위험 인텔리전스가 포함되어야 합니다.
• 오탐 감소를 우선시하세요: 운영 확장성을 확보하려면 관리자가 처리해야 하는 불필요한 알림을 줄이는 것이 필수적입니다. 오탐률이 낮아지면 팀은 WAF 정책을 수동 로깅에서 능동 차단으로 전환할 수 있습니다.
• 엣지에 런타임 위협 탐지 기능을 내장하세요. 지연 시간이 짧고 CPU 효율적인 신경망으로 애플리케이션의 최전방 트래픽을 보호하면 패치 적용 주기가 지연되더라도 제로데이 익스플로잇을 방어할 수 있습니다.
• 포괄적인 포트폴리오 보호를 요구하십시오. AI 방어 기능은 기존 온프레미스 애플리케이션, 최신 마이크로서비스, 클라우드에서 호스팅되는 AI API 등 보호 대상과 관계없이 하이브리드 아키텍처 전반에서 일관되게 작동해야 합니다.

정적이고 유지 관리 부담이 큰 웹 애플리케이션 방화벽의 시대가 저물고 있습니다. 위협 행위자들이 인공지능을 활용해 복잡한 다단계 공격을 대규모로 전개함에 따라, 기업의 보안 방어 체계도 이에 맞춰 동적으로 적응해야 합니다. 마이크로초 단위의 신경망 스코어링, 에이전틱 위협 인텔리전스, 강력한 런타임 위협 탐지를 통합한 AI 기반 WAF를 통해 조직은 신속하게 차단 모드로 전환하고, 국가 배후 위협 행위자보다 한발 앞서 대응하며, 오탐을 제거하고, 모든 클라우드 환경에서 핵심 애플리케이션을 안전하게 보호할 수 있습니다.

F5 AI 기반 WAF에 대해 더 자세히 알아보려면 이 웨비나를 온디맨드로 시청하세요. 위 양식을 작성하면 녹화 영상을 시청할 수 있습니다.