봇은 대규모 언어 모델을 어떻게 공격하는가: OWASP LLM 10대 위협

Jim Downey

봇과 AI는 오랫동안 떼려야 뗄 수 없는 관계였습니다. 봇을 차단하기 위해 고안된 초기 CAPTCHA 테스트는 사람은 쉽게 풀 수 있지만 AI는 풀기 어려운 문제로 설계되었습니다. 이러한 구분은 컴퓨터 지능에 관한 1950년 앨런 튜링의 논문으로 거슬러 올라갑니다. 최근에는 F5를 비롯한 보안 기업들이 AI를 활용해 봇을 탐지하는 한편, 봇 제작자들은 AI를 활용해 탐지를 우회하고 CAPTCHA 문제를 해결해 왔습니다. 생성형 AI의 등장으로 봇과 AI의 연관성은 계속 진화하고 있습니다. 봇은 인터넷에서 콘텐츠를 추출해 대규모 언어 모델(LLM)에 제공하고, AI 에이전트—본질적으로 지능형 봇—는 의도하지 않은 방식으로 앱과 상호 작용합니다. 또한 2025년 LLM 및 생성형 AI 앱의 10대 위험과 완화 방안

물론 봇만이 LLM 취약점을 악용하는 유일한 수단은 아닙니다. LLM 보안은 사이버 보안 분야에서 복잡하고 빠르게 발전하고 있는 영역이며, 저는 이 문제를 하나의 원인이나 해결책으로 단순화하고 싶지 않습니다. 그럼에도 공격자는 거의 항상 어떤 형태로든 봇을 사용하여 사이버 공격을 대규모로 수행한다는 사실을 알고 있습니다. 따라서 봇을 차단하면 사이버 범죄자의 무기고에서 중요한 도구 하나를 제거할 수 있습니다. 봇 차단이 웹, 모바일 및 API 보안에서만큼 LLM 보안에서도 중요한 이유를 이해하기 위해, 2025년 LLM을 위한 OWASP 10대 보안 위험을 살펴보고 공격자가 각 취약점을 악용하는 데 봇을 어떻게 활용할 수 있는지 알아보겠습니다.

1. 프롬프트 인젝션

A 프롬프트 인젝션 공격은 LLM의 동작을 악의적으로 변경하려는 공격으로, OWASP에 따르면 모델이 “지침을 위반하거나, 유해한 콘텐츠를 생성하거나, 무단 액세스를 허용하거나, 중요한 의사 결정에 영향을 미치게” 할 수 있습니다. 프롬프트를 통해 모델의 동작에 영향을 미치려면 공격자가 다수의 프롬프트를 주입해야 할 수 있습니다. 즉, 피해를 극대화하거나 원하는 결과를 달성하는 프롬프트를 찾아낼 때까지 모델에 유해한 프롬프트를 대량으로 입력하는 것입니다. 충분히 많은 악성 프롬프트를 입력하려면 공격자는 자동화용 봇을 사용해야 합니다.

2. 민감한 정보 노출

직원과 고객에게 비즈니스 가치를 제공하는 LLM을 구축하려는 경쟁 속에서, 조직은 자체적으로 보유한 방대한 데이터 저장소를 활용해 모델을 학습시킬 것입니다. 그러나 이러한 데이터 저장소에는 개인 데이터와 영업 비밀을 비롯한 민감한 정보가 포함되어 있을 수 있습니다. 공격자는 이러한 모델을 탐색하며 민감한 데이터를 노출시키려 할 가능성이 매우 높습니다. 또한 공격자는 자신이 찾는 데이터가 정확히 무엇인지, 이를 얻기 위해 어떤 프롬프트를 입력해야 하는지 모를 수 있으므로, 수많은 프롬프트를 입력해 그중 하나가 가치 있는 민감한 정보를 노출하기를 기대하는 무차별 대입 방식을 사용할 수 있습니다. 모델에 대량의 프롬프트를 입력하기 위해 공격 규모를 확대하려는 공격자는 봇을 배포할 것입니다.

3. 공급망

다른 모든 정보 시스템과 마찬가지로 LLM도 학습 데이터, 기반 모델, 배포 플랫폼 등의 종속 요소를 갖고 있습니다. 이는 공격자가 LLM의 공급망을 침해함으로써 LLM 자체를 손상시킬 수 있음을 의미합니다. 공격자는 종속 요소를 침해하기 위해 봇으로 데이터 저장소에 허위 정보를 주입하고, 크리덴셜 스터핑이나 실시간 피싱 프록시를 통해 인증 시스템을 무력화하며, 권한 부여 취약점을 탐색할 가능성이 높습니다.

4. 데이터 및 모델 오염

데이터 포이즈닝 공격에서 공격자는 사전 학습, 미세 조정 또는 임베딩 데이터를 조작하여 취약점, 백도어 또는 편향을 유발합니다. OWASP에 따르면 “이러한 조작은 모델의 보안, 성능 또는 윤리적 동작을 저해하여 유해한 결과를 생성하거나 기능을 손상시킬 수 있습니다.” 공격자가 데이터를 조작하는 데 사용할 수 있는 방법은 다양하지만, 봇은 인증 또는 권한 부여를 무력화하는 공격부터 봇 방어 기능이 없는 애플리케이션을 통해 데이터 저장소에 가짜 데이터를 삽입하는 공격에 이르기까지 여러 유형의 공격에서 흔히 사용되는 도구입니다.

5. 부적절한 출력 처리

부적절한 출력 처리란 LLM 모델의 출력이 해당 출력에 의존하는 시스템에 해를 끼칠 수 있는지 확인하지 않는 것을 의미합니다. 공급망 및 데이터·모델 오염 취약점이 LLM 모델의 업스트림 시스템 침해와 관련된 반면, 부적절한 출력 처리는 다운스트림 시스템, 즉 LLM 모델의 출력에 의존하는 시스템에 영향을 미칩니다. OWASP에 따르면, “부적절한 출력 처리 취약점이 성공적으로 악용되면 웹 브라우저에서 크로스 사이트 스크립팅(XSS) 및 크로스 사이트 요청 위조(CSRF)가 발생할 수 있으며, 백엔드 시스템에서는 서버 측 요청 위조(SSRF), 권한 상승 또는 원격 코드 실행이 발생할 수 있습니다.”

다르게 말하면, 공격자는 LLM을 이용해 LLM의 출력에 의존하는 다른 애플리케이션을 공격합니다. 공격자는 애플리케이션에 정교하게 조작한 입력을 제공하여 이 취약점을 악용할 수도 있지만, 자동화를 통해 다양한 변형을 시도하면서 다운스트림 애플리케이션에 피해를 주는 출력을 생성하는 입력을 찾아내는 무차별 대입 공격을 시도할 수도 있습니다. 자동화 도구는 모델이 악성 출력을 생성하도록 유도하고, 해당 출력이 애플리케이션에 의도한 악영향을 미쳤는지 테스트합니다. 이러한 유형의 탐색을 대규모로 수행하려면 봇이 필요합니다.

6. 과도한 자율성

과도한 에이전시는 LLM 기반 시스템을 통해 이루어지는 권한 상승의 한 형태입니다. 이 취약점은 LLM 기반 시스템이 높은 권한으로 실행되어 함수를 호출하거나 다른 시스템과 연동할 수 있는 데서 비롯됩니다. 공격자는 LLM 기반 시스템의 권한이 어디에서 상승했는지 또는 그 권한 상승을 어떻게 악용할 수 있는지 알지 못하므로, 권한 상승을 유발하고 악용하기 위해 자동화된 방식으로 여러 프롬프트를 입력할 가능성이 높습니다.

7. 시스템 프롬프트 유출

LLM을 기반으로 구축된 애플리케이션은 애플리케이션의 요구 사항에 맞게 모델의 동작을 유도하는 시스템 프롬프트 지침을 LLM에 제공하는 경우가 많습니다. 실제로 시스템 프롬프트에는 데이터베이스 연결 문자열, 독점 코드, 지적 재산 또는 기업이 안전하게 보호해야 하는 기타 콘텐츠와 같은 기밀 정보가 포함될 수 있습니다. 시스템 프롬프트 유출은 애플리케이션이 의도치 않게 시스템 지침을 공개하도록 유도하는 특정 형태의 프롬프트 인젝션입니다.

프롬프트를 통해 LLM이 이러한 기밀 정보를 노출하도록 유도하는 것은 쉽지 않으며, 공격자들은 시스템 프롬프트에 포함된 민감한 데이터를 더욱 효과적으로 탐색하기 위해 자동화된 스크립트를 개발할 가능성이 매우 높습니다.

8. 벡터 및 임베딩 취약점

LLM 애플리케이션은 검색 증강 생성(RAG)이라는 기법을 통해 모델에 추가 컨텍스트를 제공하여 모델의 출력을 개선하는 경우가 많습니다. RAG를 통해 LLM에 제공되는 콘텐츠는 원시 텍스트가 아니라 메타데이터와 콘텐츠가 포함된 전처리된 벡터입니다. OWASP에 따르면, “벡터와 임베딩의 생성, 저장 또는 검색 방식에 존재하는 취약점은 악의적인 행위(의도적이든 비의도적이든)에 악용되어 유해한 콘텐츠를 주입하거나, 모델 출력을 조작하거나, 민감한 정보에 접근하는 데 사용될 수 있습니다.” 즉, 공격자는 RAG 콘텐츠와 그 처리 과정을 노려 LLM 시스템을 공격할 수 있습니다.

기업은 조직의 구체적인 요구 사항을 충족하기 위해 자체 프로세스를 구현하고 RAG 콘텐츠의 범위를 정의합니다. 따라서 콘텐츠와 그 취약점은 조직마다 고유합니다. 공격자의 관점에서 이러한 취약점을 발견하기란 쉽지 않으므로 봇을 활용한 자동화된 탐색이 반드시 필요합니다.

9. 허위 정보

LLM이 허위 정보 또는 오해의 소지가 있는 정보를 생성하면 해당 정보에 의존하는 시스템이 오작동하여 보안 침해, 평판 훼손 및 법적 책임으로 이어질 수 있습니다. LLM은 환각 현상이나 학습 데이터의 편향 및 결함으로 인해 잘못된 정보를 생성할 수 있습니다.

환각을 악용하려는 공격자는 프롬프트 입력과 응답 분석을 자동화할 가능성이 높습니다. 예를 들어, 코드 생성 프로세스, 즉 LLM을 사용해 수많은 컴퓨터 코드 인스턴스를 생성하는 과정을 자동화하면 공격자는 실제로 존재하지 않는 소프트웨어 라이브러리를 참조하는 코드를 찾아낼 수 있습니다. 그런 다음 공격자는 LLM이 환각으로 만들어 낸 코드 저장소에 악성 소프트웨어 라이브러리를 생성할 수 있습니다. LLM이 생성한 코드를 충분히 검토하지 않으면 해당 악성 라이브러리가 출시 제품에 포함될 수 있습니다.

공격자는 마찬가지로 봇을 사용해 학습 데이터를 조작하고, 모델에 편향을 유발할 목적으로 방대한 양의 데이터를 의도적으로 입력할 수 있습니다.

10. 무제한 리소스 소비

열 번째 OWASP LLM 취약점인 무제한 소비는 무제한 리소스 소비라는 OWASP API 취약점 및 서비스 거부라는 OWASP 자동화 위협과 매우 유사합니다. 공격자는 예상 요청 수를 크게 초과하여 추론 서비스에 서비스 거부, 성능 저하 및 과도한 비용을 초래합니다. OWASP에 따르면 “특히 클라우드 환경에서 LLM의 높은 컴퓨팅 요구 사항은 리소스 악용과 무단 사용에 취약하게 만듭니다.” 공격자는 예상 사용량을 초과하기 위해 거의 확실하게 봇을 사용하여 요청량을 늘릴 것입니다.

봇 방어 기능 구현

많은 조직이 AI 기능을 신속하게 시장에 출시해야 한다는 압박을 받고 있고 LLM의 보안 영향이 아직 완전히 파악되지 않은 상황에서, LLM 기반 애플리케이션뿐만 아니라 LLM 모델에 데이터를 제공하는 애플리케이션의 앞단에도 봇 보호 기능을 구현하는 방안을 고려해야 합니다. 공격자가 더 많은 공격을 시도할수록 성공 가능성도 커집니다. F5는 특히 효과적인 봇 보호 서비스인 F5 Distributed Cloud Bot Defense를 제공합니다. 이 서비스 역시 AI를 기반으로 하며, 봇과 자동화를 사용해 LLM 애플리케이션을 노리는 공격자에 맞서 조직이 우위를 점할 수 있도록 지원합니다.

자세히 알아보기 Distributed Cloud Bot Defense에 대해

작성자 소개

Jim Downey

Jim Downey의 다른 블로그 게시물