머신러닝으로 보안 규칙을 실시간 변경하기

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

가시성, 또는 가시성의 부재는 오늘날 모든 운영 및 개발 영역에서 공통적으로 제기되는 불만입니다. 개발자들은 온프레미스든 퍼블릭 클라우드든 일단 "프로덕션"이라는 미지의 영역에 배포된 애플리케이션의 성능을 제대로 파악할 수 없다고 토로합니다. 인프라부터 네트워크, 보안에 이르기까지 모든 운영 부문에서는 애플리케이션 트래픽의 틈새를 들여다보고 그 흐름에서 공격의 징후를 포착할 수 없다는 점을 한탄합니다.

보안에서 말하는 가시성은 논리적으로 애플리케이션 앞단에 위치하는 네트워크 및 애플리케이션 서비스를 배포함으로써 확보할 수밖에 없습니다. 이러한 관행이 생겨난 데에는 여러 이유가 있지만, 근본적으로 애플리케이션에는 다양한 형태의 공격을 식별하는 데 필요한 맥락 정보가 부족합니다. 애플리케이션 스택이 개발자에게 연결별로 제공되는 정보만 사용하도록 제한하기 때문입니다. 이러한 격리로 인해 한 연결의 악의적 사용자가 다른 연결의 정상 사용자에게 접근할 수 없으므로, 이는 그 자체로 하나의 보안 조치이기도 합니다.

하지만 이러한 제약으로 인해 애플리케이션과 그 플랫폼은 연결 및 애플리케이션 트래픽을 맥락에 따라 파악하는 데 한계가 있습니다. 이 책임을 애플리케이션의 업스트림, 즉 애플리케이션 앞단으로 옮기면 네트워크 및 애플리케이션 서비스는 해당 애플리케이션과 주고받는 모든 연결 및 페이로드의 맥락에서 각 연결과 그 페이로드를 평가할 수 있습니다.

애플리케이션 계층 DoS 공격의 위협이 커지는 상황에 어떻게 대응할지 살펴볼 때, 이 점을 인식하는 것이 중요합니다.

이러한 애플리케이션 계층 공격의 규모와 빈도가 증가하고 있다는 점은 우려스럽습니다. 더욱 심각한 것은 애플리케이션 계층 DoS 공격의 43%가 시그니처 및 평판 기반 탐지를 회피할 수 있다는 사실입니다. 악의적 공격자들이 특정 애플리케이션에 맞춰 공격을 빠르게 조정하고 표적화하는 능력이 발전하면서 정적 시그니처는 금세 무용지물이 되고 있습니다.

정적 시그니처는 독감 백신과 같습니다. 독감 백신은 바이러스에 대한 과거 경험을 바탕으로 특정 독감 바이러스 변종을 예방하도록 개발됩니다. 본질적으로 특정 바이러스를 식별하는 생물학적 시그니처인 셈입니다. 하지만 같은 바이러스의 새로운 변종은 식별하지 못하기 때문에 우리는 또다시 독감에 걸릴 위험에 노출됩니다.

악의적 행위자들은 독감 바이러스만큼이나 탐지와 제거를 피하기 위해 능숙하게 적응하고 진화합니다. 이러한 과제에 대응하려면 특정 시그니처가 아니라 그들의 행동을 기반으로 악의적 행위자를 식별할 수 있어야 합니다. 이를 위해서는 가시성과 이를 통해 얻을 수 있는 맥락이 필요합니다.

L7 행동 기반 DoS 방어

본질적으로 L7 행동 기반 DoS 방어는 바이러스의 실제 구성 요소가 아니라 바이러스의 행동을 바탕으로 원인 바이러스를 탐지할 수 있는 독감 백신과 같습니다. 이러한 기능은 레이어 7(애플리케이션)에서 특히 중요합니다. 이런 공격은 단순히 트래픽 양에만 의존하지 않기 때문입니다. 일부 공격은 연결을 계속 점유하고 정상적인 사용자에게 서비스를 제공할 수 있는 애플리케이션의 처리 용량을 고갈시켜 서비스 이용을 방해하도록 설계됩니다. 또 다른 공격은 더 교묘하게 요청을 조작하여 애플리케이션을 중단시키고 장애를 일으키려 합니다.

다양한 유형의 L7 DoS 공격을 탐지하려면 개별 요청을 정상으로 간주되는 기준과 비교해 평가할 수 있어야 합니다. 하지만 단순히 "정상" 동작을 정의하는 것은 시그니처를 만드는 것과 다르지 않습니다. 하이퍼스케일 API 기반 애플리케이션에서 정상으로 간주되는 동작이 단일 사업부나 부서에서 사용하는 웹 기반 애플리케이션에서는 정상적이지 않을 수 있습니다.

따라서 첫 번째 단계는 "정상"을 판단하는 것입니다. 행동 기반 DoS는 시스템을 통과하는 모든 패킷에서 특정 정보를 수집하여 이를 수행합니다. 이러한 정보는 네트워크, 전송 및 애플리케이션 데이터에서 추출됩니다. 일반적인 헤더 속성이나 크기, 서버의 정상적인 부하 수준, 정상적인 응답 시간 및 지연 시간 등을 바탕으로 기준선을 설정합니다. 시스템은 통계 모델을 사용하여 매초 수천 건의 관측값을 토대로 이러한 값의 정상 범위에 대한 임계값을 계산합니다.

애플리케이션이 성능 저하 또는 과부하로 인해 부하 징후를 보이면 시스템이 "공격 모드"로 전환됩니다. 이 모드에서는 다음과 같은 여러 작업이 수행됩니다:

• 이상 징후 탐지를 기반으로 동적 시그니처를 생성하는 동안 요청 속도 제한이 시작됩니다.
• 설정에 따라 새 사용자 지정 시그니처는 승인을 기다리거나 자동으로 완화 조치를 활성화할 수 있습니다.
• 트래픽이 새 시그니처와 일치할 때 공격 완화가 수행되는 방식을 추가로 사용자 지정할 수 있습니다.
  • 보수적 – 알려진 악성 트래픽만 차단
  • 표준 – 알려진 악성 트래픽만 차단하되, 서버 부하가 지나치게 높으면 공격이 진행되는 동안 모든 트래픽의 속도를 제한합니다.
  • 공격적 – 서버가 양호한 상태를 유지하도록 필요에 따라 모든 트래픽의 요청 속도를 자동으로 제한합니다
• 동적 시그니처가 공격의 출처를 식별할 수 있을 만큼 충분히 오래 실행되면, 완화 방식이 속도 제한에서 계층 3 기반 차단으로 전환됩니다.

이 프로세스에는 거짓 음성을 방지하기 위해 '정상 플로우'와 겹치는 특성이 5% 미만인지 확인하는 작업이 포함됩니다. 애플리케이션 상태가 정상으로 돌아오면 시스템은 완화 조치를 줄일 수 있습니다.

L7 행동 기반 DoS의 장점은 정상적인 상태를 지속적으로 학습하고 비정상적인 상태를 식별하는 데 중점을 둔다는 것입니다. 따라서 정적 시그니처 기반 시스템이 업데이트되기 전까지는 알아차리지 못하는 새로운 L7 공격이나 기존 공격에서 진화한 공격을 탐지할 수 있습니다.

행동 분석은 고도로 특화된 머신 러닝 모델 덕분에 가능합니다. 이러한 모델을 통해 애플리케이션 보호 기능은 실시간으로 발전하며, 오늘날 보안 분야가 변화에 발맞추는 데 절실히 필요한 민첩성을 확보할 수 있습니다. 악의적 행위자들은 탐지를 피하기 위해 끊임없이 공격을 조정하고 변형합니다. 애플리케이션을 더욱 효과적으로 보호하려면 보안 서비스는 기존의 가정을 바꾸고 자신이 속한 환경의 맥락에 맞게 작동해야 합니다. 보안 전문가에게 기업 포트폴리오의 모든 애플리케이션에 대해 일일이 임계값을 설정하도록 요구하는 것은 현실적이지 않습니다.

새로운 애플리케이션과 환경이 추가되면서 보안 및 운영 부담이 커지는 만큼, 가능하면 언제든지 사람에게 지워진 부담을 기술로 전환하는 것이 중요합니다. Advanced WAF의 일부인 Behavioral DoS는 머신이 여러분을 방해하는 대신 여러분을 위해 일하도록 만드는 방법 중 하나입니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물