규칙에서 위험 관리로: WAF의 진화와 AI 기반 성과의 부상

F5 ADSP | 2026년 4월 22일

CISO가 웹 애플리케이션 방화벽(WAF)을 구매하는 이유는 기능 때문이 아니라, 조직의 속도를 늦추지 않으면서 비즈니스 위험을 줄이기 위해서입니다. 하지만 많은 기업에서 WAF 솔루션은 익숙한 지점에서 진전을 멈춥니다. WAF는 배포되고 경고도 계속 발생하지만, 튜닝에 많은 비용이 들고 여러 부서의 협업이 필요하며 위험 부담도 크기 때문에 차단 모드로의 전환이 지연됩니다.

한편, 공격자들은 기다려 주지 않습니다. 이들은 API의 취약점을 탐색하고, 자격 증명 악용을 자동화하며, 과거의 트래픽을 기준으로 설계된 규칙 세트를 우회하는 회피 기법을 사용합니다. 이러한 현실에 대응해 WAF도 발전해 왔습니다. 그 발전 과정을 이해하면 AI 기반 WAF가 실질적인 전환점으로 부상하는 이유를 알 수 있습니다. AI 기반 WAF는 보호 체계 구축에 걸리는 시간을 단축하고 운영 부담을 줄이며, 고객 불편을 늘리지 않으면서 보안 성과를 개선합니다.

“CISO는 개별 기능의 다양성보다는 조직이 얼마나 신속하게 차단 모드에 도달해 이를 유지할 수 있는지, 앱과 API 전반에서 위협을 얼마나 효과적으로 차단하는지, 정상적인 고객 트래픽에 미치는 지장을 얼마나 최소화하는지 등 비즈니스 성과를 기준으로 WAF 솔루션을 평가해야 합니다.”

1세대: 풍부한 제어 기능과 시그니처 기반 보호

1세대 WAF는 시그니처와 프로토콜 적용을 통해 알려진 위협을 폭넓게 방어하며 웹 보안의 기준을 확립했습니다. 대규모 시그니처 엔진을 활용해 일반적인 익스플로잇(예: SQLi, XSS)을 차단하고 CVE에 매핑하며, HTTP 규정 준수를 적용하고 애플리케이션 전반에 일관된 정책과 관측 가능성을 제공하는 데 탁월했습니다. 또한 로그의 민감한 데이터 마스킹, 차단 페이지 사용자 지정, 허용된 응답 코드 관리, IP 평판 피드 활용, 응답 내 민감한 데이터 보호 등 중요한 운영 안전장치도 추가했습니다.

애플리케이션이 더욱 동적으로 변화하고 공격 표면이 API, 봇, 자동화 영역으로 이동하면서 새로운 과제가 대두되었습니다. 시그니처 기반 모델은 운영 측면에서 근본적인 상충 관계를 초래합니다:

더 많은 공격을 탐지하기 위해 규칙을 강화하면 오탐이 증가하고 비즈니스 운영에 차질이 발생합니다.
업무 중단을 줄이기 위해 규칙을 완화하면 미탐이 늘어나고 침해 위험이 커집니다.

실제로 이는 튜닝 부담으로 이어집니다. 보안 팀은 경고의 우선순위를 분류하고, 개발자는 트래픽이 정상적인지 확인하며, 플랫폼 팀은 예외를 적용해야 합니다. 이러한 과정은 애플리케이션별, 릴리스별로 반복되며, 환경별로 반복되는 경우도 많습니다. 그 결과 차단 모드 적용이 지연되고 보호 수준이 일관되지 않으며, WAF가 차단할 수 있는 위협과 프로덕션 환경에서 실제로 차단하는 위협 간의 격차가 점점 커집니다.

2세대: ‘요청 검사’에서 ‘사용자 및 세션 행동’으로

2세대 WAF 기능은 페이로드 검사를 넘어 클라이언트 IP, TLS 핑거프린팅, 쿠키, HTTP 헤더 및 기타 식별자 등 여러 신호를 활용해 사용자 세션을 식별하고 추적하는 수준으로 확장되었습니다. 이러한 변화가 중요한 이유는 많은 최신 공격이 단 한 번의 ‘악성 요청’처럼 보이지 않기 때문입니다. 대신 정찰, 자동화, 악용 패턴 또는 느리고 은밀한 탐색처럼 시간의 흐름에 따라 나타나는 행동 양상을 보입니다.

세션을 추적하고 행동을 기반으로 사용자 위험도를 평가함으로써 2세대 WAF는 봇과 악성 클라이언트에 대한 탐지 능력을 향상하고, 챌린지 또는 일시적 차단과 같은 완화 조치를 적용할 수 있게 되었습니다. 이에 따라 정적 시그니처에만 의존하는 정도가 줄어들었습니다.

하지만 행동에 대한 가시성이 향상되었음에도 많은 CISO는 여전히 동일한 도입 장벽, 즉 정책 적용에 대한 확신 부족을 마주하고 있습니다. 어떤 활동이 ‘의심스럽다’는 사실을 안다고 해서 정상적인 트래픽에 지장을 주지 않는 결정을 자동으로 내릴 수 있는 것은 아닙니다. 특히 애플리케이션과 API가 매주 변경되는 환경에서는 팀이 여전히 임계값, 예외 사항, 규칙 간 상호작용을 두고 논의를 거듭하게 됩니다.

3세대: AI 기반 WAF와 결과 중심의 정책 적용

3세대 WAF는 AI 기반 WAF 위험 점수를 바탕으로 위험 기반 의사 결정을 내리는 새로운 운영 모델을 도입합니다. 팀이 복잡하게 얽힌 시그니처 일치, 위반 사항, 튜닝에 따른 절충점을 일일이 해석하도록 하는 대신, WAF가 요청별로 여러 신호를 평가해 위험 수준을 지정합니다. 이 위험 수준이 정책 적용의 기본 단위가 됩니다.

이로써 CISO와의 논의는 “WAF를 어떻게 조정할 것인가?”에서 “이 앱, 엔드포인트 또는 비즈니스 기능에 대해 어느 수준의 위험까지 감수할 것인가?”로 바뀝니다.

실질적인 성과는 상당합니다:

보호 적용 시간 단축: 다층적 분석을 기반으로 판단하므로, 단일 규칙에 의존하는 취약한 트리거 방식보다 고객이 차단 모드로 더 빠르게 전환할 수 있습니다.
운영 부담 감소: 수동 예외 처리와 사례별 조정이 줄어들어 SecOps, AppSec, 개발자 및 플랫폼 팀 간의 마찰이 완화됩니다.
오탐을 최소화하면서 탐지 성능 향상: 다중 신호 상관 분석을 통해 더 많은 공격을 탐지하는 동시에 정상 사용자의 불편을 줄일 수 있습니다.

계층화된 접근 방식 채택

최상의 결과를 얻으려면 1세대, 2세대, 3세대 WAF 기능을 서로 대체하는 것으로 보지 말고 계층적으로 함께 적용해야 합니다.

1세대 제어 기능(시그니처, 프로토콜 준수, 위협 캠페인 방어, 민감한 데이터 보호, 강력한 관측성)은 알려진 취약점과 일반적인 악용 기법을 매우 효과적으로 방어하며, 여전히 필수적인 기본 보안 수칙입니다.

Gen 2는 세션 인식 및 행동 추적 기능을 추가해 여러 요청을 하나의 사용자 여정으로 연결함으로써, 플랫폼이 악의적인 자동화와 정상적인 사용 패턴을 구분하고 취약한 URL별 예외 처리에 대한 의존도를 줄일 수 있도록 합니다.

그런 다음 3세대 AI 기반 위험 점수 산정은 이러한 신호를 일관된 성과 중심의 의사결정 엔진으로 통합합니다. 즉, 시그니처 탐지, 행동 이상, 상황별 지표를 요청/세션별 단일 위험 상태로 연계하여 팀이 미탐과 오탐을 모두 최소화하면서 더욱 빠르고 확신 있게 차단 기능을 활성화할 수 있도록 합니다.

이러한 계층형 접근 방식을 결합하면 운영 조정을 최소화하면서 최고 수준의 보호를 제공할 수 있습니다. 즉, 알려진 위협에는 결정론적 제어를, 진화하는 위협에는 행동 기반 탐지를, 대규모 환경에서 정확한 의사 결정을 내리기 위해서는 위험 기반 적용을 활용합니다.

비즈니스 성과를 기준으로 WAF 평가하기

앞서 언급했듯이, CISO는 개별 기능의 다양성보다는 조직이 얼마나 신속하게 차단 모드에 도달해 이를 유지할 수 있는지, 앱과 API 전반에서 위협을 얼마나 효과적으로 차단하는지, 정상적인 고객 트래픽에 미치는 영향을 얼마나 최소화하는지와 같은 비즈니스 성과를 기준으로 WAF 솔루션을 평가해야 합니다.

이를 제대로 수행하면 운영의 초점이 개별 시그니처와 예외 사항에 대한 논의에서 벗어나 비즈니스의 위험 허용 수준에 부합하는 위험 임계값을 설정하는 방향으로 전환되어, 분산 환경 전반에서 오탐을 낮게 유지하면서 보호 수준을 높일 수 있습니다.

To learn more, about F5 Distributed Cloud WAF와 AI 기반 기능에 대해 자세히 알아보려면 제품 페이지를 방문하거나 저희 팀에 문의하여 데모 일정을 예약하세요.