최첨단 AI로 코드 보호하기: F5가 구축하고 배운 것

업계 동향 | 2026년 6월 08일

지난 4월, 저는 기존 소프트웨어 보안 모델이 더 이상 유효하지 않은 이유에 대해 글을 썼습니다. 그 글에서는 문제점과 원칙을 다뤘습니다. 이번 글에서는 F5가 코드를 안전하게 보호하기 위해 수행하고 있는 작업을 소개합니다.

약 9개월 전, 우리는 최첨단 AI 모델을 활용해 자체 소스 코드의 취약점을 체계적으로 검사하기 시작했습니다. 실제 프로덕션 규모의 코드베이스를 대상으로 이러한 모델이 무엇을 할 수 있는지 알아보기 위한 초기 탐색으로 시작된 이 작업은 이후 제품 조직에서 가장 중요한 투자 중 하나로 자리 잡았습니다. 우리는 전용 인프라를 구축하고, 전사적으로 엔지니어링 리소스를 투입했으며, 조직의 모든 계층에서 이를 최우선 과제로 삼았습니다.

글로벌 포춘 500대 기업 중 80% 이상이 F5를 신뢰하고 있습니다. 전 세계 애플리케이션 전송 컨트롤러(ADC) 환경의 절반 이상을 지원합니다. 세계 15대 은행 전체, 미국 30대 상업은행 전체, 세계 10대 보험사 전체, 세계 10대 통신사 전체, 미국 15개 행정부처 전체가 자사 인프라에서 F5를 운영하고 있습니다.

조직이 사용자와 애플리케이션 사이, 그리고 에이전트와 API 사이와 같은 가장 중요한 경로에 F5를 배치하기 때문에, 당사는 스스로에게 더 높은 기준을 적용합니다.

처음에는 모델의 성능이 그다지 좋지 않았습니다. 하지만 지금은 다릅니다.

2025년 가을, 우리가 이 길을 걷기 시작했을 당시 사용할 수 있었던 최첨단 모델들은 가능성은 보였지만 한계가 있었습니다. 표면적인 문제는 찾아낼 수 있었지만, 복잡한 코드베이스를 논리적으로 분석하고 여러 모듈에 걸친 맥락을 이해하며 실제 취약점과 오탐을 구분하는 능력은 일관되지 않았습니다.

오탐률이 높았습니다. 매우 높았습니다.

우리는 많은 것을 처음부터 배워야 했습니다:

효과적인 하네스를 구축하는 방법
실제 코드를 분석하는 데 충분한 맥락을 제공하도록 프롬프트를 구성하는 방법
대규모로 유의미한 신호와 노이즈를 구분할 수 있는 검증 파이프라인을 구축하는 방법
한 모델의 출력을 다른 모델의 입력으로 활용하여 결과를 확인하거나 기각하는 방법

F5에 적용할 수 있는 범용 플레이북이 없었기 때문에 직접 만들어야 했습니다.

이러한 모델의 발전 속도는 놀라울 정도입니다. Claude Mythos와 GPT Cyber를 비롯한 Anthropic과 OpenAI의 최첨단 모델은 이제 실제 취약점을 찾아내고, 해당 취약점이 어떻게 악용될 수 있는지 보여 주며, 엔지니어가 이를 수정하도록 지원할 수 있습니다. 경우에 따라 이러한 모델은 소스 코드뿐만 아니라 바이너리와 컴파일된 코드에서도 탁월한 성능을 발휘합니다. 지난가을까지만 해도 그렇지 않았습니다.

이러한 발전을 목격한 것은 우리뿐만이 아닙니다. 우리는 Project Glasswing에 참여하는 조직을 비롯해 세계 최대 규모의 여러 조직과 긴밀히 협력해 왔습니다. 이들은 가장 핵심적인 경로에서 F5를 운영하는 기관들이며, 우리와 동일한 변화에 대응하고 있습니다.

몇 가지 사실이 분명해졌습니다:

프리뷰 및 연구용 모델은 놀라울 정도로 뛰어난 성능을 보여줍니다. Anthropic과 OpenAI의 최신 모델은 컴파일된 코드를 분석하고, 복잡한 취약점 연쇄를 식별하며, 정교한 개념 증명 코드를 생성할 수 있습니다.
모델의 발전 속도는 선형적이지 않습니다. 오히려 가속화되고 있습니다. 새로운 세대의 모델이 나올 때마다 성능이 유의미하게 도약합니다. 최신 모델로 자사 코드를 검증하지 않는 조직은 뒤처지고 있습니다.
초기 병목은 모델 자체가 아니라 오탐이었습니다. 처음에는 신호 대 잡음비가 매우 낮아 어려움이 컸습니다. 실제 문제와 잡음을 구분하도록 시스템을 학습시키기 위해 검증 하네스 구축, 분류 자동화, 피드백 루프에 대대적으로 투자해야 했습니다. 그 결과 오탐률이 낮아졌고, 이제 엔지니어에게 실제로 해결해야 할 보안 문제와 결함을 제공할 수 있게 되었습니다.
최첨단 AI 모델이 생성한 취약점 정보를 안전하게 보호하고 관리하는 것은 보안의 최우선 과제입니다. 모델이 원격 코드 실행과 같은 심각한 취약점을 발견하면, 해당 정보를 다루는 일 자체가 하나의 보안 업무가 됩니다. 저희는 이를 책임감 있게 관리하는 방법에 대해 많은 것을 배웠습니다.

이 모든 사실은 제가 계속해서 강조해 온 한 가지를 더욱 분명히 보여줍니다. 우리가 취약점을 찾는 데 사용하는 바로 그 모델을 언젠가는 공격자들도 우리를 상대로 사용하게 될 것입니다. 게임 이론의 관점에서 유일하게 책임 있는 전략은 공격자가 먼저 행동하기 전에 최첨단 AI 모델을 지속적으로 활용해 코드를 점검하고 개선하는 것입니다.

도구, 하네스 및 프로세스 구축

우리는 결함 분석 및 취약점 관리에 근본적으로 다른 접근 방식을 구현한 내부 도구를 구축했습니다.

당사의 코드베이스는 C, C++, Python, Tcl, Java, Go와 FPGA용으로 작성된 저수준 C를 아우르며, 수천만 줄의 코드로 이루어져 있습니다. 우리가 찾고자 하는 문제는 서로 다른 방식으로 상호작용하는 여러 모듈에 걸쳐 수년간 프로덕션 환경에서 실행되어 온 코드 속에 존재합니다. 이처럼 광범위한 영역에서 언어와 추상화 계층을 넘나들며 추론할 수 있는 하네스를 구축하는 것은 상당한 기술적 도전이었습니다.

저희가 구축한 도구 중 하나는 제공업체에 관계없이 새로운 모델이 출시되는 즉시 이를 도입해 저희 코드베이스를 대상으로 지속적으로 실행합니다. 저희는 최첨단 AI 연구소들과 활발히 협력하고 있으며, 프리뷰 모델과 연구용 모델을 비롯한 최고 수준의 첨단 모델들을 이용할 수 있습니다. 이 도구는 이러한 모델뿐만 아니라 그래프 이론, 정적 구성 분석 등도 활용합니다. 또한 공개 취약점 및 약점 데이터 세트를 포함한 위협 인텔리전스도 입력합니다.

이것이 저희가 보유한 유일한 도구는 아닙니다. 저희 팀은 특정 유형의 결함을 탐지하고 다른 조직의 성과를 활용하는 추가 도구도 개발했습니다. 또한 많은 최첨단 AI 연구소는 기반 모델의 성능을 최대한 끌어내도록 설계된 고성능 하네스를 보유하고 있습니다.

어떤 도구를 사용하든 스캔 인프라는 다음과 같은 엄격한 다단계 프로세스를 따릅니다:

수집. 모델이 요약이나 추상화가 아닌 실제 구현 세부 정보를 바탕으로 추론할 수 있도록 주요 모듈과 언어 전반의 코드베이스를 입력합니다.
분석. AI 기반 정적 분석을 실행하여 버그, 위험한 패턴, 의심스러운 흐름을 탐지합니다. 여기에는 잘못된 인증 로직, 안전하지 않은 암호화, 메모리 안전성 문제 등이 포함됩니다.
분류. CWE 매핑, 심각도 평가, 파일 및 줄 참조, 악용 가능성에 대한 맥락을 포함한 구조화된 분석 결과를 추출합니다.
검증. 두 번째 모델은 발견 사항이 엔지니어링 파이프라인에 들어가기 전에 이를 확인하거나 심각도를 낮추거나 기각합니다. 이 단계에서 오탐 문제를 걸러냅니다. 초기에는 이 단계가 사실상 존재하지 않아 노이즈가 감당하기 어려울 정도로 많았습니다. 오늘날에는 시스템에서 가장 중요한 부분 중 하나입니다.
수정. 검증된 발견 사항은 우선순위에 따라 수정 절차로 전달됩니다. 수정 사항은 개발, 테스트를 거쳐 배포됩니다.

각 사이클을 거칠 때마다 지식 기반이 축적되어 다음 사이클은 더 빠르고 정밀해집니다. 시간이 지날수록 코드베이스 자체의 복원력도 강화됩니다. 발견할 문제가 줄어들기 때문에 모델이 찾아내는 문제도 줄어듭니다. 이것이 바로 우리가 투자하고 있는 복리 효과입니다.

F5의 스캐닝 인프라는 철저한 다단계 프로세스를 따릅니다.

조사를 통해 확인된 사항

사실상 모든 성숙한 코드베이스에서 발견되는 문제들을 확인하고 있습니다. 여기에는 구성 보안 강화의 미비점, 더 엄격하게 설정해야 하는 기본값, 메모리 안전성 문제(버퍼 오버플로, 정수 오버플로), 경쟁 상태, 입력값 검증의 미비점 등이 포함됩니다.

이러한 문제야말로 우리가 찾아내고 해결하고자 하는 바로 그 유형의 문제입니다. AI 모델이 여러 취약점을 어떻게 연계할지 추론할 수 있는 세상에서는 이러한 문제를 체계적으로 제거함으로써 전체 코드베이스의 악용 저항성을 크게 높일 수 있습니다. 이러한 문제는 익스플로잇 체인을 구성하는 요소이며, 이를 제거하면 소프트웨어를 공격하기가 더 어려워집니다.

새로운 역량: 스캔, 분류, 수정, 테스트, 출시, 반복

이 작업의 가장 중요한 성과 중 하나는 지난 몇 달 동안 엔지니어링 조직이 구축해 온 운영 역량입니다. 스캔은 이전에는 없었던 엔드투엔드 역량을 구축하는 과정의 한 부분일 뿐입니다.

모든 소프트웨어의 릴리스 주기를 분기별에서 보안이 강화된 릴리스를 더 자주 제공하는 방식으로 전환하고 있습니다. 이는 운영 측면에서 매우 큰 변화입니다. 예를 들어, BIG-IP 엔지니어링 팀은 엄격한 기준을 적용해 고객 환경에서 사용 중인 모든 F5OS 및 TMOS 조합을 테스트하고 있습니다. 각 조합마다 전용 테스트 환경이 필요합니다. 모든 릴리스는 엄격한 브랜치 관리, 회귀 테스트 및 장기 안정성 테스트를 거칩니다. 또한 업그레이드 및 재부팅 시간을 문서화하고, 버퍼 오버플로, 입력값 보안 강화, CVE 등 모든 수정 사항을 해당 릴리스에 태그로 연결하고 있습니다.

당사는 수년간 엄격한 스캔 및 테스트 관행을 유지해 왔습니다. 달라진 점은 이제 AI를 기반으로 스캔, 분류, 수정, 테스트, 릴리스, 반복의 주기가 이루어진다는 것입니다.

다음 단계

AI 기반 스캔을 통해 더 많은 취약점이 발견됨에 따라 추가 릴리스가 이어질 예정입니다. 이는 소프트웨어가 더 취약해졌다는 뜻이 아니라 보안이 한층 강화되고 있다는 신호입니다. 보안이 강화된 릴리스를 배포한 후 발견된 내용을 공개하겠습니다.

업계 전반에서 패치 빈도가 높아짐에 따라 고객은 모든 공급업체의 업데이트를 더 자주, 더 많이 적용해야 할 것입니다. 저희는 이 과정을 더 어렵게 만드는 것이 아니라 더 쉽게 만들기 위해 최선을 다하고 있습니다. 이를 위해 필수적인 플릿 관리, 자동 업데이트, 간소화된 업그레이드 워크플로에 대한 작업을 가속화했습니다.

또한 런타임 보안도 이러한 변화에 발맞춰야 합니다. AI 기반 탐지 및 대응 기능은 알려진 시그니처에 의존하거나 패치가 나올 때까지 기다리지 않고 위협을 식별하고 차단하는 핵심 방어선이 될 것입니다. 위협 환경이 이를 요구하기 때문에 저희는 이러한 기능을 구축하고 있습니다. 조만간 이에 관한 더 많은 소식을 전해드리겠습니다.

9개월 전, 우리는 최첨단 AI 모델이 자체 코드의 취약점을 찾아 수정하는 방식을 근본적으로 바꿀 수 있는지 탐구하기 시작했습니다. 결론은 가능하다는 것입니다. 모델의 성능은 기대 이상이었고, 우리의 운영 역량도 예상보다 강력했으며, 시급성은 더욱 커졌습니다.

가장 중요한 인프라를 우리에게 맡긴 조직들은 그에 걸맞은 최선의 보호를 받을 자격이 있습니다.

자세한 내용은 제 이전 블로그 게시물인 “패치 적용의 골든타임은 끝났습니다. 앞으로의 시대에 대비하는 F5의 방식”을 참조하세요.

작성자 소개

Kunal Anand최고제품책임자 | F5

Kunal Anand는 최고제품책임자(CPO)로서 F5의 제품 조직을 이끌고 있습니다. 제품 비전, 전략 및 실행을 총괄하며, 고객의 중대한 과제를 해결하고 탁월한 경험을 제공하는 혁신적인 솔루션의 개발을 주도합니다. 이전에는 최고기술·AI책임자로서 회사의 기술 및 AI 전략과 비전을 수립했습니다. F5에 합류하기 전에는 Imperva에서 최고기술책임자(CTO)와 최고정보보안책임자(CISO)를 겸임했습니다. Kunal은 2013년에 공동 창업한 애플리케이션 보안 스타트업 Prevoty가 2018년 Imperva에 인수되면서 Imperva에 합류했습니다. Prevoty 이전에는 BBC Worldwide에서 기술 담당 이사를 역임했습니다. Kunal은 혁신과 기술 분야에서 풍부한 경험과 전문성을 갖추고 있으며, Gravity, MySpace 및 NASA 제트추진연구소에서 보안, 데이터, 기술 및 엔지니어링 팀을 이끄는 직책을 맡았습니다. Kunal은 모델 학습, AI 기반 알고리즘을 활용한 제품 개선, AI 아키텍처 설계 및 구현 등 AI와 머신러닝 분야에서 15년 이상의 경험을 보유하고 있습니다. Kunal은 Babson College에서 컴퓨터 과학 학사 학위를 취득했습니다.

Kunal Anand의 다른 블로그 게시물