AI 탈옥 공격이란 무엇인가요?
AI 시스템에 내장된 안전장치를 우회하여, 정상적인 상황에서는 수행하지 않을 작업을 수행하거나 생성하지 않을 콘텐츠를 생성하도록 유도하기 위해 고안된 악의적인 공격 기법
탈옥 공격은 AI 시스템에 내장된 보호 장치를 우회하도록 설계된 악의적인 공격 기법입니다. 그 목적은 시스템이 부정확하거나 유해한 결과를 생성하게 하거나, 승인되지 않은 작업을 수행하게 하는 것입니다. 탈옥은 모델의 안전 제어를 우회하도록 특별히 설계된 프롬프트 인젝션의 한 형태인 반면, 프롬프트 인젝션은 더 광범위하게 악의적이거나 신뢰할 수 없는 지시를 통해 모델의 동작을 조작합니다.
일반적인 탈옥 기법 및 공격 경로
공격자는 탈옥을 위해 여러 기법과 공격 벡터를 사용합니다. 가장 일반적인 방법은 다음과 같습니다.
역할극 및 페르소나 조작: 공격자는 AI 모델에 프롬프트를 입력해 기본 안전장치를 무시하는 페르소나를 채택하도록 지시합니다. 예를 들어, 공격자는 모델이 프롬프트에 검열되지 않은 답변을 내놓도록 “DAN”(“do anything now”, 무엇이든 즉시 수행)이라는 페르소나를 채택하게 한 바 있습니다. 이와 유사하게 “AIM”(“always intelligent and Machiavellian”, 항상 지적이고 마키아벨리적인)이라는 페르소나는 윤리적 경계를 넘는 비도덕적인 답변을 제공하도록 하는 데 사용되었습니다.
난독화 및 인코딩: 이 탈옥 기법은 악성 페이로드를 텍스트 기반 안전 필터나 분류기를 우회할 수 있는 형식으로 변환합니다. 공격자는 자연어 대신 Base64 코드, 암호(알고리즘을 사용해 일반 콘텐츠를 이동하거나 대체하는 방식), 보이지 않는 문자, 다른 문자 체계의 문자를 사용해 왔습니다. 이러한 변형은 모델이 디코딩하여 읽을 수 있지만, 모델의 안전 필터는 이를 처리하지 못합니다.
긍정 응답 강제: 접두사 주입 또는 강제 완성이라고도 하는 이 기법은 모델이 “물론이죠, 도와드릴 수 있습니다!”와 같은 긍정적인 문장으로 모든 응답을 시작하도록 강제합니다. 모델이 일단 이러한 응답을 생성하면, 확률론적 접근 방식으로 인해 일반적으로는 거부할 요청까지도 이후 요청을 수행할 가능성이 높아집니다.
컨텍스트 플러딩: 컨텍스트 스터핑 또는 어텐션 포화라고도 하는 이 기법에서 공격자는 프롬프트에 대량의 무해한 텍스트나 무작위 데이터를 포함합니다. 이렇게 추가된 방대한 컨텍스트는 이전 지침의 영향력을 약화하거나 방해하여 모델이 안전 제약 조건을 일관되게 따르기 어렵게 만들 수 있습니다.
위협의 진화
초기에는 AI 탈옥의 주요 표적이 대규모 언어 모델(LLM)이었으며, 그로 인한 피해도 대부분 부적절한 텍스트 응답에 국한되었습니다. 하지만 조직들이 다양한 작업을 자율적으로 처리하기 위해 AI 에이전트를 점점 더 많이 도입하면서, 공격자들은 이러한 에이전트로 표적을 옮겼습니다.
AI 에이전트 탈옥은 기업에 심각한 결과를 초래할 수 있습니다. 예를 들어, API 액세스 권한이 있는 탈옥된 에이전트는 민감한 데이터를 유출하거나, 데이터베이스 파일을 삭제하거나, 사기성 금융 거래를 실행하거나, 기업 계정에서 피싱 메시지를 발송하거나, 핵심 시스템을 마비시킬 수 있습니다.
공격자들은 에이전트의 취약점을 찾아 탈옥 성공률을 높이기 위해 직접 AI를 활용하고 있습니다. 예를 들어, 대규모 추론 모델(LRM)을 사용해 취약점을 발견합니다. 그런 다음 이러한 LRM으로 구동되는 자동화된 레드팀 에이전트를 배포하여 에이전트의 취약점을 지속적으로 테스트할 수 있습니다.
기존 보안 방식이 충분하지 않은 이유
웹 애플리케이션 방화벽(WAF)과 같은 기존 보안 솔루션만으로는 두 가지 주요 이유로 AI 탈옥을 방지하기에 충분하지 않습니다. 첫째, WAF는 구조화된 데이터와 코드에서 알려진 위협 패턴을 탐지합니다. 하지만 탈옥 공격에서는 공격자가 자연어 프롬프트를 사용해 모델과 에이전트가 특정 작업을 수행하도록 강제합니다. WAF는 이러한 자연어에 담긴 의미를 해석할 수 없습니다. 또한 WAF는 주로 HTTP 애플리케이션 트래픽을 검사하므로 AI 시스템이 수집할 수 있는 모든 콘텐츠 소스를 파악하지 못합니다.
AI 애플리케이션과 에이전트를 보호하는 방법
AI 애플리케이션과 에이전트를 탈옥 공격으로부터 보호하려면 다계층 전략이 필요합니다. 다음 네 가지 핵심 실천 방안은 이러한 전략을 수립하는 데 도움이 됩니다:
1. 이중(입력/출력) 가드레일 구현: 입력 가드레일은 프롬프트에 난독화 및 인코딩이 적용되었는지 검사하고 역할극 시도를 필터링할 수 있습니다. 한편 출력 가드레일은 생성된 출력이 사용자에게 전달되기 전, 그리고 모델이 API 호출을 실행하기 전에 이를 평가할 수 있습니다. 이 평가에서는 혐오 발언, 데이터 유출, 승인되지 않은 도구 호출 등을 탐지할 수 있습니다.
2. 감시 또는 검토 모델 배포: 조직은 모델이 자체적으로 안전성을 평가하도록 하는 대신, 분류를 목적으로 설계된 경량의 ‘감시’ 또는 검토 모델을 배포할 수 있습니다. 이러한 모델은 입력과 출력을 모두 검사하여 프롬프트 내 탈취 시도를 식별하고, 생성된 출력이 기업 정책(예: 혐오 발언 또는 괴롭힘 관련 정책)을 위반하는지 판단할 수 있습니다.
3. 시스템 프롬프트 충실도 강화: 시스템 프롬프트 충실도란 프롬프트가 다른 지침으로 인해 본래 방향에서 벗어나거나 재정의되지 않고 시스템 지침을 준수하는 정도를 의미합니다. 조직은 사용자와 대화하는 동안 핵심 시스템 지침을 반복하고(컨텍스트 플러딩 방지), 지침의 우선순위 체계를 미세 조정하여 모델이 시스템 지침을 무시하라는 사용자 명령을 거부하도록 하는 등 다양한 기법을 통해 시스템 프롬프트 충실도를 강화할 수 있습니다.
4. 에이전트에 최소 권한 API 액세스 적용: 탈옥된 AI 에이전트는 특히 중요 시스템에 연결되어 있을 경우 기업에 심각한 피해를 줄 수 있습니다. 조직은 최소 권한 API 액세스를 적용하여 에이전트 탈옥으로 인한 잠재적 피해를 제한할 수 있습니다. 에이전트는 작업을 완료하는 데 필요한 특정 API에만 액세스할 수 있어야 합니다.
자주 묻는 질문
AI 모델은 왜 무해한 질문에 답변을 거부하여 ‘오탐’을 발생시키나요?
AI 모델은 때때로 무해한 사용자의 질문에 답변하기를 거부합니다. 이러한 거부를 ‘오탐’ 또는 ‘과도한 거부’라고 합니다. 프롬프트에 다른 맥락에서는 위험을 나타내는 특정 단어가 포함되어 있거나, 모델에 특정 페르소나를 취하도록 요청하는 등 탈옥 시도를 암시하는 표현이 들어 있을 수 있습니다. 또는 모델이 답변할 경우 유해한 요청으로 이어질 가능성이 높으며, 이는 답변을 거부하는 것보다 더 나쁜 결과라고 판단할 수도 있습니다.
캐릭터 역할극은 어떻게 안전 가드레일을 우회하나요?
캐릭터 역할극은 악의적인 의도를 겉보기에는 무해한 맥락으로 위장해 안전 보호 장치를 속입니다. 보호 장치가 프롬프트를 단순한 창작 활동으로 판단하면 이를 유해한 것으로 분류하지 않습니다. 그사이 모델은 역할을 맡으라는 명령을 따르는 데 리소스를 사용하면서 안전 규칙을 적용하는 데에는 상대적으로 덜 집중하게 됩니다.
“DAN” 프롬프트와 범용 탈옥의 차이점은 무엇인가요?
악명 높은 ‘DAN’ 프롬프트는 모델에게 안전 규칙을 무시하고(‘지금 당장 무엇이든 하라’) 사용자가 제공한 지시를 그대로 따르는 페르소나를 취하도록 하는 역할극 기법을 말합니다. 범용 탈옥 공격은 컴퓨터 알고리즘을 사용해 어떤 프롬프트에든 추가하면 모델의 안전 규칙을 무력화하는 문자열을 생성합니다.
AI 시스템을 탈옥할 경우 어떤 법적 위험과 책임이 따르나요?
AI 시스템의 탈옥은 해당 시스템을 운영하는 조직에 다양한 위험과 법적 책임을 초래할 수 있습니다. 예를 들어, 탈옥으로 인해 민감한 고객 데이터가 노출되거나 허위 정보가 유포되고, 규정 준수 의무를 위반하거나 자율 에이전트가 각종 불법 행위를 저지를 수 있습니다. 조직은 규제 당국의 벌금, 소송, 심지어 형사 처벌에 직면할 수 있습니다.
API 안전 설정으로 탈옥 시도를 완전히 차단할 수 있나요?
아니요. API 안전 설정만으로는 탈옥 시도를 완전히 차단할 수 없습니다. 공격자는 Base64 인코딩이나 이와 유사한 난독화 기법을 사용해 API 필터를 우회할 수 있습니다. 또한 API 필터는 일반 텍스트로 위장한 지시를 탐지하지 못하는 경우가 많습니다. 더욱이 서드 파티 콘텐츠에 숨겨진 간접 탈옥 시도는 특히 탐지하기 어려울 수 있으므로, 외부 콘텐츠나 검색을 통해 가져온 콘텐츠에 대한 추가적인 통제가 필요합니다.
추론 및 런타임 단계에서 AI 시스템과 애플리케이션을 어떻게 보호하나요?
추론 및 런타임 단계에서 AI 시스템을 보호하려면 상호작용이 발생하는 즉시 프롬프트, 응답, 에이전트 작업 및 도구 사용을 검사하는 제어 기능이 필요합니다. AI 전용 런타임 보안은 프롬프트 인젝션을 차단하고, 민감한 데이터의 유출을 방지하며, 정책을 적용하고, 모델과 에이전트가 사용자, 데이터, API 및 연결된 도구와 상호작용하는 방식을 관리하는 데 도움이 됩니다.
엔터프라이즈 AI 보안을 지원하는 F5 기능은 무엇인가요?
F5 AI Guardrails는 런타임 정책을 적용하고 프롬프트 인젝션, 데이터 유출, 유해한 출력, 안전하지 않은 에이전트 작업과 같은 위험으로부터 보호하는 데 도움이 됩니다. F5 AI Red Team은 적대적 테스트를 통해 공격자가 발견하기 전에 취약점과 약점을 식별합니다. F5 AI Gateway는 모델, 에이전트 및 도구에 대한 액세스를 관리하는 중앙 집중식 제어 지점을 제공하며, F5 Workforce AI Security는 기업 전반에서 승인된 AI와 승인되지 않은 AI의 사용 현황에 대한 가시성을 제공합니다. 이러한 기능은 함께 F5 AI Security Platform의 일부를 구성합니다. 애플리케이션, API 및 분산 환경 전반을 더욱 폭넓게 보호하기 위해 F5 Application Delivery and Security Platform (ADSP)은 웹 애플리케이션 및 API 보호, 봇 관리, DDoS 완화, 애플리케이션 딜리버리 등의 기능도 통합합니다.
