사이버 보안에서의 머신러닝

F5 Newsroom Staff

머신 러닝(ML)은 인공 지능(AI)의 한 분야로, 컴퓨팅 시스템이 방대한 양의 데이터에서 패턴을 인식하여 인사이트를 도출하고, 예측하며, 의사 결정을 자동화할 수 있도록 합니다. ML 모델은 새로운 작업마다 명시적으로 프로그래밍되는 대신 추세나 이상 징후를 파악해 시간이 지남에 따라 모델 성능을 개선하며, 사람의 개입 없이 새로운 정보와 입력에 적응합니다.

데이터 흐름에서 숨겨진 구조와 패턴을 탐지하는 ML의 능력은 사이버 보안에 매우 유용합니다. ML은 위협 탐지를 자동화하고 대응 시간을 단축하며, 사람이 관찰하거나 사전 정의된 규칙에 기반한 보안 경보 시스템으로는 찾아내기 어려운 숨겨진 위험을 발견할 수 있습니다.

현대 사이버 위협의 복잡성과 규모, 속도가 계속 진화함에 따라 오늘날 사이버 보안에 ML을 도입하는 것은 특히 중요합니다. 오늘날의 위협, 특히 이전에 알려지지 않은 익스플로잇이나 제로데이 익스플로잇은 정적이고 사전 정의된 규칙과 오래된 위협 시그니처를 기반으로 하는 기존 보안 정책을 우회할 수 있습니다. 또한 많은 조직이 IT 리소스 부족으로 인해 사내 보안팀의 업무 부담이 가중되면서 대응 시간이 늦어지고 사이버 위협 활동을 탐지할 때 인적 오류가 증가하고 있습니다. 보안 위협의 특성 역시 끊임없이 역동적으로 변화하고 있으며, 범죄자들은 AI와 자동화를 활용해 단 몇 초 만에 전개되고 기존 방어 체계를 우회하도록 적응할 수 있는 정교한 공격을 감행하고 있습니다.

사이버 보안을 지원하기 위한 ML 및 AI의 활용이 증가하고 있는 것으로 2025 F5 애플리케이션 전략 현황 보고서를 위해 실시된 설문조사에서 나타났습니다. 응답자들에 따르면 다음과 같습니다:

• 기업의 59%가 보안 규칙을 자동으로 적용해 제로데이 취약점을 완화하는 데 AI를 사용합니다.
• 51%는 위협이나 새로운 취약점에 대응하기 위해 생성형 AI를 활용하여 보안 정책, 워크플로 및 구성을 자동으로 조정하기를 원합니다.
• 99%는 AI를 의사 결정을 지원하는 데 그치지 않고 최소 하나의 운영 기능을 자동화하는 데 사용하는 것에도 거부감이 없습니다.

이 글에서는 ML 모델의 작동 방식과 이러한 모델이 사이버 보안 분야를 어떻게 혁신하고 있는지 살펴봅니다. 또한 광범위한 사이버 공격을 탐지하고 예방하는 역할을 비롯해 ML이 보안 운영에 제공하는 주요 이점을 알아봅니다. 아울러 ML에 관한 일반적인 과제와 오해를 다루고, 사이버 보안 방어를 강화하기 위해 ML이 할 수 있는 일과 할 수 없는 일을 명확히 설명합니다.

머신러닝은 어떻게 작동하나요?

머신러닝 모델에는 크게 세 가지 유형이 있습니다:

지도 머신 러닝은 사람이 이미 분석하고 레이블을 지정한 데이터로 모델을 훈련하여, 레이블을 예측하는 패턴을 학습한 다음 새로운 데이터에서 해당 패턴을 인식하도록 하는 방식입니다. 지도 학습은 데이터를 분류하고 분산 서비스 거부(DDoS) 공격과 같은 특정 유형의 위협에 고유한 패턴을 인식하는 데 효과적입니다.

비지도 머신 러닝은 레이블이 지정되지 않은 데이터로 모델을 학습시켜, 모델이 데이터에 숨겨진 패턴, 구조 또는 그룹을 스스로 찾아 특성별 군집을 정의하도록 하는 방식입니다. 이러한 형태의 머신 러닝은 새롭고 복잡한 공격 패턴을 식별하고, 유입 트래픽의 이상 징후를 탐지하며, 제로데이 공격을 완화하는 데 효과적입니다.

강화 머신러닝은 시행착오를 통해 보상과 페널티에 기반한 모델의 의사 결정 방식을 반복적으로 개선하며, 보상을 극대화하기 위해 끊임없이 새로운 접근 방식을 시도합니다. 이 머신러닝 모델은 광범위한 사이버 공격을 탐지하는 데 효과적이며 시간이 지날수록 효율성이 향상됩니다.

머신 러닝이 사이버 보안을 혁신하는 방식

머신러닝은 복잡한 작업을 자동화하고, 방대한 데이터 세트에서 패턴을 식별하며, 진화하는 위협을 실시간으로 탐지할 수 있어 점점 더 광범위한 사이버 보안 기능에 활용되고 있습니다.

ML은 로그, 다크 웹 콘텐츠, 위협 보고서 등 방대하고 다양한 데이터 소스에서 실행 가능한 인사이트를 도출하여 새롭게 부상하는 공격 동향, 위협 행위자의 행동, 침해 지표를 식별함으로써 사이버 위협 인텔리전스에 크게 기여합니다. ML 모델은 사용자, 기기 또는 애플리케이션의 정상적인 행동이 무엇인지 학습하고 침해, 내부자 위협 또는 잘못된 구성을 나타낼 수 있는 이상 징후를 탐지하므로 이상 탐지에 탁월합니다.

마찬가지로 머신러닝은 네트워크 트래픽 흐름을 실시간으로 분석하여 명령 및 제어 통신, 데이터 유출 시도, 네트워크 내부의 측면 이동과 같은 의심스러운 패턴을 식별할 수 있습니다. 이는 시그니처 기반 탐지를 회피하는 지능형 지속 위협을 탐지하는 데 매우 중요합니다.

위험 점수 산정은 머신 러닝을 활용하는 또 다른 사이버 보안 기법입니다. ML 알고리즘은 사용자 행동, 자산의 민감도, 위협 발생 가능성 등 여러 데이터 포인트를 분석하여 위험을 평가하고 우선순위를 정할 수 있으며, 위협이 조직에 미칠 수 있는 잠재적 영향을 바탕으로 동적이고 상황을 반영한 위험 점수를 산출합니다. 이는 봇과 악성 자동화를 탐지할 때 특히 중요합니다. 공격자는 자신의 공격 활동을 정상 트래픽으로 위장하기 위해 텔레메트리 신호를 조작하려 하기 때문입니다. 예를 들어 IP 주소를 수시로 변경하거나, 인터넷 네트워크의 식별자인 서로 다른 자율 시스템 번호(ASN)를 사용하거나, 탐지를 피하기 위해 브라우저 사용자 에이전트 문자열을 변경할 수 있습니다. ML은 여러 데이터 포인트에서 사람이나 규칙 기반 시스템이 놓칠 수 있는 미묘하고 비정상적인 패턴을 식별하여 이러한 기만 전술을 탐지하는 데 도움을 줍니다.

머신 러닝은 정적인 시그니처 기반 보안 방식을 뛰어넘는 동적 기능을 제공하므로 멀웨어 탐지에도 매우 유용합니다. ML을 활용하면 알려진 위협과 알려지지 않은 위협을 모두 더 빠르고 유연하며 정확하게 식별할 수 있으며, 여기에는 제로데이 및 다형성 변종을 비롯해 이전에 탐지되지 않은 멀웨어도 포함됩니다.

머신러닝은 보안 전문가가 컴퓨팅 시스템이나 플랫폼의 취약점을 식별하기 위해 모의 사이버 공격을 수행하는 침투 테스트의 일부 과정을 자동화하는 데 점점 더 많이 활용되고 있습니다. 머신러닝은 실제 공격자가 취약점을 악용하기 전에 약점을 발견할 수 있도록 악용 가능한 경로를 찾아내고, 취약점을 탐색하거나, 공격자의 행동을 시뮬레이션할 수 있습니다.

이러한 머신 러닝 활용 사례는 크게 세 가지 범주로 나뉩니다:

• 위협을 더 빠르고 정확하게 탐지합니다. 머신 러닝을 활용하는 보안 솔루션은 대량의 데이터를 실시간으로 분석하여 이상 징후, 의심스러운 패턴 또는 알려진 침해 지표를 식별함으로써 위협 탐지의 속도와 정확도를 높입니다. ML 알고리즘은 정상적인 사용자 또는 시스템 동작을 학습하고 악의적인 활동을 나타낼 수 있는 일탈을 표시하여 실시간으로 대응할 수 있도록 합니다.
• 네트워크 취약점을 선제적으로 찾아 패치하기. 공격자가 악용하기 전에 취약점을 식별하는 것은 선제적 위협 관리의 핵심입니다. 머신 러닝 기반 보안 도구는 위협 인텔리전스, 시뮬레이션 및 모델링을 활용해 취약점을 평가하고 우선순위를 지정함으로써 신속하게 해결할 수 있습니다.
• 반복 작업 자동화를 통한 IT 효율성 향상. 많은 사이버 보안 업무는 반복적이고 시간이 많이 소요되지만, 머신러닝을 활용하면 이러한 작업을 자동화하여 보안 운영의 속도와 일관성을 높이고 보안 팀이 전략적 계획과 의사 결정에 집중할 수 있습니다.

사이버 보안에서 머신러닝의 이점

사이버 보안에 ML 모델을 도입할 때 얻을 수 있는 가장 큰 이점은 네트워크 트래픽, 사용자 행동, 시스템 로그, 위협 인텔리전스 등 방대하고 다양한 데이터를 인간의 역량을 훨씬 뛰어넘는 속도와 규모로 분석할 수 있다는 점입니다. 머신러닝은 복잡한 패턴과 상관관계, 이상 징후를 실시간으로 식별하는 데 탁월하므로, 보안 시스템은 공격 수명 주기의 초기 단계에서, 흔히 심각한 피해가 발생하기 전에 위협을 탐지하고 대응할 수 있습니다. 또한 ML 알고리즘은 더 많은 데이터를 수집할수록 지속적으로 개선되어, 시간이 지남에 따라 더욱 지능적이고 적응력 높은 탐지가 가능해집니다.

기업 입장에서는 ML 기반 솔루션을 통해 보안 정책 업데이트를 자동화하고, 기존의 취약점을 파악하며, 보안 취약성을 선제적으로 해결하고, 사람의 실수로 취약점이나 잘못된 구성이 발생할 가능성을 줄일 수 있으므로 보안 태세가 한층 강화됩니다. 또한 ML을 활용하는 보안 솔루션은 새로운 위협을 신속하게 탐지하고 방어 시스템을 선제적으로 조정함으로써 기업이 끊임없이 변화하는 사이버 위협 환경에 더 빠르게 적응할 수 있도록 지원합니다. IT 생산성 향상 역시 사이버 보안 시스템에 ML을 도입할 때 얻을 수 있는 또 다른 이점입니다. 이러한 시스템은 위협 탐지 및 완화 작업의 대부분을 자동화하여 IT 인력이 보다 전략적인 업무에 집중하고, 실시간 인사이트와 위협 인텔리전스를 활용해 대응 전략을 강화할 수 있도록 합니다.

머신 러닝의 과제

ML이 사이버 보안에 제공할 수 있는 효과와 이점을 온전히 누리려면 고품질 데이터와 텔레메트리에 접근할 수 있어야 합니다. 이러한 데이터는 정확하고 적응력이 뛰어나며 효과적인 모델을 구동하는 원동력이기 때문입니다. 자동화된 데이터 소스에 접근할 수 없다면 ML 시스템은 지속적으로 학습하고 개선하거나 유의미한 인사이트를 제공할 수 없습니다. 많은 조직에서 이러한 자동화된 데이터 흐름을 제공하는 것은 쉽지 않은 과제입니다.

조직이 AI를 도입할 때 직면하는 과제(출처: 2025 F5 애플리케이션 전략 현황 보고서)

According to the 2024 F5 디지털 엔터프라이즈 성숙도 지수 보고서에 따르면, 자동화 역량을 평가하는 주요 척도는 디지털 비즈니스가 사람의 개입을 최소화하면서 데이터를 기반으로 운영되는 정도입니다. 그러나 이 보고서의 조사 대상 기업 중 네트워크 보안을 자동화한 기업은 약 45%에 불과하고, 애플리케이션 및 API 보안 기능을 자동화한 기업은 40%에 그쳤습니다. 따라서 데이터 자동화와 보안을 개선할 여지가 매우 큰 것으로 나타났습니다.

2025 F5 애플리케이션 전략 현황 보고서 응답자의 약 50%는 머신 러닝 모델을 학습시키려면 대량의 데이터가 필요하지만 많은 조직이 충분한 데이터를 보유하고 있지 않기 때문에 데이터 품질 문제가 AI 도입의 가장 큰 과제 중 하나라고 답했습니다. 비용 역시 AI 도입의 주요 과제로 꼽혔습니다. ML은 향후 효율성 향상으로 이어질 수 있지만, 구현 초기에는 상당한 비용이 듭니다.

애플리케이션 전략 현황 보고서 응답자의 54%에 따르면, 기업이 머신 러닝을 도입할 때 직면하는 가장 큰 과제는 AI 배포를 성공적으로 구현하고 관리할 숙련된 인력이 부족하다는 점입니다. 머신 러닝을 사이버 보안에 통합하려면 머신 러닝 모델을 유지 관리하고 결과를 해석하는 방법을 알아야 하지만, 심각한 인재 부족 현상은 계속되고 있으며 2025년에는 사이버 보안 분야의 미충원 일자리가 약 350만 개에 달합니다.

머신 러닝에 대한 오해

많은 인기 주제와 최신 트렌드가 그렇듯, AI와 ML에 대해서도 잘못된 통념이 많습니다:

• 오해 1: 머신 러닝은 모든 작업을 자동화할 수 있다. 실제로 ML은 모든 상황에 적용할 수 있는 만능 기술이 아닙니다. 효과를 유지하려면 대규모의 고품질 데이터 세트와 지속적인 모델 학습이 필요합니다. 충분한 데이터가 지속적으로 제공되지 않으면 시간이 지남에 따라 모델의 성능이 저하될 수 있습니다. 또한 가치가 낮거나 범위가 제한적인 보안 작업의 경우 ML 모델을 개발하고 유지하는 데 드는 비용과 노력이 정당화되지 않을 수 있으며, 기존의 규칙 기반 시스템이 더 실용적이고 효율적일 수 있습니다.
• 오해 2: 머신 러닝 기반 솔루션은 인간 보안 분석가를 완전히 대체할 것이다. 머신 러닝은 강력한 도구이지만, 사람의 감독 없이는 효과적으로 작동할 수 없습니다. 숙련된 사이버 보안 전문가는 결과를 해석하고 맥락을 파악하며 ML 모델이 내릴 수 없는 판단을 내리는 데 여전히 필수적입니다. 비판적 사고와 경험, 직관이 필요한 영역에서는 인간 분석가가 필요합니다. 이러한 역량은 기계가 갖추지 못한 능력입니다.
• 오해 3: 머신러닝을 활용하면 사이버 보안 방어 체계를 완벽하게 구축할 수 있다. 머신러닝은 사이버 보안을 크게 강화할 수 있지만, 사이버 공격자들 역시 AI와 ML을 활용해 더욱 정교하고 탐지하기 어려운 공격 기법을 개발하고 있습니다. 또한 AI 모델도 사이버 공격에 취약할 수 있습니다. 예를 들어 공격자가 모델을 오도하기 위해 학습 데이터를 조작하는 데이터 포이즈닝 공격이 있습니다. 위협이 계속 진화하는 만큼 사이버 보안 방어 체계가 효과를 유지하려면 지속적인 모니터링과 업데이트가 필요하며, 인간 전문가의 역량으로 이를 보완해야 합니다.

사이버 보안에서 ML 시작하기

머신러닝은 사이버 보안에 속도, 확장성, 선제적 적응력을 더해 주므로, 특히 대규모 데이터 세트를 다루는 애플리케이션과 워크플로에서 현대 디지털 보안 전략의 핵심 요소로 자리 잡고 있습니다.

사이버 보안 솔루션을 평가할 때는 공급업체가 플랫폼에서 머신러닝(ML)을 어떻게 활용하고 있는지 반드시 확인해야 합니다. 단순히 ML 사용 여부뿐만 아니라 구현 방식, 최적의 처리를 위해 필요한 데이터 유형, 그리고 이를 통해 얻을 수 있는 성과까지 질문하세요. 또한 ML 모델이 다양하고 실제 환경에서 수집된 위협 데이터를 기반으로 학습되는지, 데이터 세트는 얼마나 자주 업데이트되는지도 확인하세요.

F5는 거의 20년 동안 애플리케이션 보안 및 전송 제품 전반에 머신 러닝을 활용해 왔습니다. 예를 들어, F5 Distributed Cloud Bot Defense는 지도 및 비지도 ML 모델을 모두 사용하여 매일 수십억 개의 신호를 분석하고 봇 완화 전략을 동적으로 업데이트합니다.

마지막으로, 머신러닝이 모든 사이버 보안 과제를 해결해 줄 것이라고 생각해서는 안 됩니다. 조직에는 숙련된 사이버 보안 전문가가 항상 필요하므로, 이들에게 지속적으로 투자하고 지원해야 합니다. IT 업계의 인재 부족을 고려하면, 이미 확보한 전문 역량을 잃는 일은 피해야 합니다.

사이버 보안 모범 사례와 새로운 동향에 대해 자세히 알아보려면 이 용어집 항목을 읽어보세요. 또한 Accelerate AI 웹페이지에서 F5의 최신 AI 소식을 모두 확인해 보세요.

작성자 소개

F5 Newsroom Staff

F5 Newsroom Staff의 다른 블로그 게시물