인공지능은 삶을 바꿀 잠재력을 지니고 있으며, 이미 여러 측면에서 우리의 삶을 근본적으로 변화시켜 왔습니다. 의료와 교육 분야의 혁신을 앞당기는 것부터 업무와 일상을 재편하는 것까지, AI는 우리가 살아가고 활동하는 방식을 바꾸고 있습니다. 하지만 이러한 발전과 더불어 AI는 사이버 범죄자들에게도 강력한 기회를 제공합니다.
오늘날 AI 시스템은 데이터 오염, 출력 조작, 증류를 통한 무단 모델 탈취, 비공개 데이터 노출 등의 취약점을 악용하는 공격자들의 표적이 되고 있습니다. 이는 가상의 위험이 아니라 실제로 존재하며 빠르게 진화하고 있고, 막대한 금전적 피해를 초래할 수 있습니다. 또한 모델은 이메일 공격과 SMS/음성 사기의 수법을 크게 고도화하는 데 활용되고 있으며, 딥페이크는 갈수록 탐지하기 어려워져 이미 여러 사례에서 수백만 달러의 손실을 일으켰습니다.
““AI의 이점을 계속 누리려면 조직은 네트워크, 데이터베이스, 애플리케이션과 마찬가지로 AI 보안도 시급하게 다뤄야 합니다.””
2025년 스탠퍼드 AI 인덱스 보고서에 따르면, 2024년 AI 관련 보안 사고는 233건으로 전년 대비 56.4% 급증했습니다. 이는 단순한 오류나 기술적 문제에 그치지 않았습니다. 개인정보 침해와 허위 정보 확산부터 알고리즘 조작, 민감한 의사결정을 위험에 빠뜨리는 시스템 장애에 이르기까지 심각한 보안 침해로 이어졌습니다.
하지만 늘 그렇듯, 우리가 가장 주목하는 지표 중 하나는 침해 발생부터 탐지까지 걸리는 시간인 체류 시간입니다. IBM의 2025년 1분기 보고서에 따르면, AI 관련 침해를 탐지하고 억제하는 데 평균 290일이 걸리는 것으로 나타났습니다. 이는 기존 데이터 침해의 평균인 207일보다 훨씬 긴 기간입니다. 거의 10개월 동안 공격에 노출되는 셈이어서, AI를 활용하는 공격자들이 심각한 피해를 일으킬 충분한 시간을 갖게 됩니다.
대부분의 기업이 준비되지 않은 이유
AI의 이점을 계속 누리려면 조직은 네트워크, 데이터베이스, 애플리케이션 보안과 마찬가지로 AI 보안도 시급하게 다뤄야 합니다. 하지만 현재 AI 도입과 보호 사이의 불균형은 현실이 그렇지 않음을 보여줍니다.
F5의 2025년 AI 애플리케이션 현황 보고서는 이러한 점을 뒷받침합니다. 조사 대상 조직 중 보안 수준이 매우 높고 AI를 안전하게 확장할 준비가 된 것으로 평가된 곳은 2%에 불과했습니다. 반면 77%는 AI 보안 및 거버넌스와 관련해 심각한 과제에 직면해 있었습니다.
이 보고서는 또한 어느 정도 준비된 기업 중에서도 기본적인 보호 조치를 도입한 곳은 극히 일부에 불과하다는 사실을 밝혔습니다. AI 방화벽을 구현한 기업은 18%에 그쳤으며, 적대적 행동을 탐지하는 핵심 방법인 지속적인 데이터 레이블링을 시행한 기업도 24%에 불과했습니다. 여기에 무단 또는 미승인 AI 도구를 뜻하는 섀도 AI의 사용이 증가하면서 문제가 더욱 심화되고 있습니다. 이러한 도구는 기업 환경에 위험한 가시성 공백을 초래합니다.
경쟁 우위를 확보하기 위해 AI 도입을 서두르는 과정에서 많은 조직이 의도치 않게 공격 표면을 확대하고 있습니다.
AI가 취약한 이유
AI의 고유한 특성은 새로운 형태의 공격에 노출될 가능성을 높입니다. 가장 시급한 취약점은 다음과 같습니다:
- 데이터 오염: 공격자는 손상되거나 오해를 유발하는 데이터를 학습 데이터 세트에 교묘히 주입해 AI 모델의 동작을 훼손합니다. 2024년 텍사스대학교 연구진은 참조 문서에 삽입된 악성 콘텐츠가 모델의 출력에 영향을 미칠 수 있으며, 해당 문서를 삭제한 후에도 그 영향이 지속될 수 있음을 입증했습니다.
- 모델 역추론 및 추출: 이러한 공격을 통해 공격자는 민감한 학습 데이터를 복원하거나 독점 모델을 복제할 수 있습니다. 실제 사례로는 진단 시스템에서 환자 이미지를 복원한 경우와 언어 모델에서 비공개 음성 녹음 및 내부 텍스트를 재구성한 경우가 있습니다.
- 회피 공격: 공격자는 입력 데이터에 미세하고 흔히 눈에 띄지 않는 변화를 가해 AI 모델이 잘못된 결과를 내도록 속일 수 있습니다. 한 사례로, 연구진은 무해해 보이는 스티커를 붙여 자율주행차의 비전 시스템이 정지 표지판을 속도 제한 표지판으로 잘못 분류하도록 만들었습니다.
- 프롬프트 인젝션: 대규모 언어 모델(LLM)은 동작을 조작하도록 정교하게 설계된 입력에 취약합니다. 실제로 Chevrolet 대리점에서 사용하던 ChatGPT 기반 챗봇이 속임수에 넘어가 자동차를 1달러에 판매하기로 동의한 사례가 있었으며, 이로 인해 평판 및 법적 위험이 모두 드러났습니다.
이러한 위협은 이론에 그치지 않습니다. 실제로 발생하고 있으며, 이미 여러 산업 분야에서 AI의 안전성과 신뢰성을 훼손하고 있습니다.
강력한 AI 방어 전략 구축
이러한 과제에 대응하려면 조직은 일반적인 사이버 보안 위험과 AI 관련 위험을 모두 다루는 종합적인 방어 전략을 채택해야 합니다. 다음 다섯 가지 단계는 기업이 AI 시스템을 안전하게 보호하는 데 도움이 될 수 있습니다:
- 데이터 거버넌스 강화
모델, API, 학습 데이터 세트를 비롯한 AI 자산의 명확한 목록을 구축하고 엄격한 액세스 제어 정책을 시행하세요. 데이터는 AI의 기반이므로 모든 단계에서 무결성을 보호해야 합니다. - 지속적으로 테스트하기
기존의 코드 검토를 넘어 적대적 테스트와 레드팀 활동을 도입하세요. 이러한 방법은 공격자가 악용하기 전에 모델 역추론 및 프롬프트 인젝션과 같은 취약점을 발견하는 데 도움이 됩니다. - 개인정보 보호를 최우선으로 설계하세요
암호화, 데이터 최소화, 차등 개인정보 보호 기법을 도입하세요. 이러한 접근 방식은 침해 사고가 발생하더라도 민감한 데이터가 노출될 위험을 줄여 줍니다. - 제로 트러스트 아키텍처 도입
모든 AI 시스템에 “절대 신뢰하지 말고 항상 검증하라”는 원칙을 적용하세요. 각 구성 요소와 사용자에게 필요한 최소한의 접근 권한만 부여하고 모든 활동을 철저히 검증하세요. - AI 동작을 실시간으로 모니터링하세요
모델 동작이나 입력 패턴의 이상 징후를 감지하는 도구와 시스템을 구현하세요. 과도한 API 호출, 의심스러운 프롬프트, 비정상적인 출력 등을 모니터링하세요. 이러한 현상은 모두 현재 진행 중인 위협의 신호일 수 있습니다.
AI 보안에 대한 F5의 접근 방식
점점 더 많은 조직이 하이브리드 및 멀티클라우드 환경을 도입함에 따라 F5는 자사의 애플리케이션 전송 및 보안 플랫폼(ADSP)을 통해 최신 인프라를 보호하도록 설계된 AI 네이티브 보안 기능을 제공하고 있습니다.
이 플랫폼의 일부인 F5 AI Gateway는 LLM 요청을 지능적으로 검사하고 라우팅하여 프롬프트 인젝션과 데이터 유출을 방어합니다. F5 Distributed Cloud API Security 및 NGINX App Protect를 통해 제공되는 고급 API 보안 솔루션은 오용, 데이터 무단 반출, 악용으로부터 API를 보호합니다.
F5 ADSP의 일부이기도 한 F5 Distributed Cloud Bot Defense는 머신 러닝을 사용하여 오탐을 최소화하면서 크리덴셜 스터핑과 같은 자동화된 위협을 탐지하고 차단합니다. 또한 F5 BIG-IP Advanced WAF 솔루션은 애플리케이션과 API를 보호하는 동시에 GPU의 보안 작업 부담을 줄여 AI 집약적 워크로드의 성능을 향상합니다.
또한 F5의 AI 참조 아키텍처는 하이브리드 및 멀티클라우드 환경 전반에서 안전하고 신뢰할 수 있는 AI 인프라를 구축하기 위한 청사진을 제공합니다. 또한 F5는 고객이 안전하고 효율적으로 확장할 수 있도록 Intel, Red Hat, MinIO, Google Cloud Platform을 비롯한 여러 선도적인 AI 혁신 기업과 협력하고 있습니다.
마무리: 안전한 AI, 안전한 미래
AI는 도입되는 모든 산업을 혁신하고 있지만, 그 잠재력에는 전례 없는 위험이 따릅니다. 위협이 갈수록 정교해지는 만큼, 보안 리더는 선제적 도구와 더욱 지능적인 아키텍처, 정책 기반 보호 체계를 도입하여 긴박감과 통찰력을 갖고 대응해야 합니다.
AI 보안은 기업 전략의 근간에 통합되어야 합니다. 미국 국립표준기술연구소(NIST)의 AI 위험 관리 프레임워크와 같이 검증된 프레임워크를 기반으로 하고 F5 ADSP와 같은 플랫폼의 지원을 받아 규제, 기술, 문화를 적절히 결합하면, 조직은 AI의 어두운 이면에 대비하면서도 AI의 잠재력을 온전히 활용할 수 있습니다.
AI의 새로운 시대가 도래했습니다. 지금이 바로 AI 보안을 확보해야 할 때입니다.
Black Hat 패널 토론에 참석하세요
이번 주 Black Hat USA 2025 참석을 위해 라스베이거스에 방문할 예정이라면, AI Summit에서 열리는 F5 현장 CISO Chuck Herrin과 여러 전문가의 패널 토론에 함께해 주세요. 이들은 AI 시대에 디지털 방어 역량을 강화하는 방법에 대해 논의합니다.
또한 자세한 내용을 알아보려면 F5의 엔터프라이즈 AI 제공 및 보안 솔루션 웹페이지를 꼭 방문해 보세요.
관련 블로그 게시물
성평등을 향한 여정: 사이버 보안 분야에서 성공적인 커리어를 개척하는 방법에 관한 Jenn Gile과의 Q&A
F5의 ‘성평등을 향한 여정’ 시리즈 네 번째 Q&A에서는 Rachael Shah와 NGINX 제품 마케팅 책임자 Jenn Gile이 사이버 보안 직종에 대한 오해를 바로잡고, 사이버 보안 분야의 성별 격차를 해소하기 위한 조언과 그 이점에 대해 이야기합니다.
TLS 검사에서 피터 파커 원칙 다루기
“큰 힘에는 큰 책임이 따른다.” 볼테르와 처칠도 이와 비슷한 말을 남겼지만, 이 문구는 스파이더맨 코믹스에서 벤 삼촌의 말로 가장 널리 알려져 있습니다. 물론 이 문구가 문화적으로 널리 통용되는 이유 중 하나는 TLS 검사를 비롯해 수많은 상황과 주제에 적용할 수 있기 때문입니다.
Venafi와 F5를 통한 머신 아이덴티티 보호
‘머신 아이덴티티’란 간단히 말해 자동화된 프로세스가 자신의 신원을 식별할 수 있도록 하고, 다른 자동화 시스템과 프로세스가 관련 리소스에 적절한 수준의 접근 권한을 부여하도록 하는 방법을 의미합니다. 이 개념 자체는 새로운 것이 아닙니다. 비교적 새로운 점은 이를 구현해야 하는 규모입니다.
마이너와 미니언: 데이터 유출만이 비용을 초래하는 것은 아닙니다
물론 데이터 유출은 더 큰 비용을 초래할 수 있고(적어도 지금은), 실패 사실을 세상에 드러낼 수밖에 없게 합니다(통지 의무가 있으니까요). 하지만 보안을 단순히 데이터 노출 문제로만 봐서는 안 됩니다. 요즘은 데이터가...
내 클라우드에서 나가!
F5의 Jay Kelley가 전하는 최신 소식에는 Microsoft Office 365용 신규 ID 및 액세스 솔루션을 배포할 때 고려해야 할 사항이 정리되어 있습니다.
Shift(웹 앱) 보안 레터
웹 앱 보안을 개발 초기 단계로 앞당기세요. F5 블로그에서 DevOps 파이프라인 초기에 보안을 통합하여 취약점을 예방하고 시간을 절약하는 방법을 알아보세요.