AI 보안의 관측 가능성: 무슨 일이 일어나고 있는지 볼 수 없다면 막을 수도 없습니다

F5 ADSP | 2023년 11월 23일

옵저버빌리티 이해하기

빠르게 진화하는 인공지능(AI) 생태계에서 대규모 언어 모델(LLM)은 AI 도구 중 가장 강력하고 혁신적인 기술로 부상했습니다. 인간의 언어를 처리하고 이해하도록 설계된 이러한 모델은 고객 서비스, 기술, 제약, 금융, 소매를 비롯한 수많은 분야에 혁신을 일으키는 동시에 서비스형 소프트웨어(SaaS)의 판도도 바꾸고 있습니다.

이러한 AI 모델의 기능과 복잡성이 고도화됨에 따라 생산성과 혁신을 위한 전례 없는 잠재력이 열리고 있습니다. 그러나 비즈니스 환경에 배포할 경우 고유한 과제도 발생하며, 그중 가장 심각한 문제는 공격 표면이 크게 확대된다는 점이고, 그다음은 가시성이 사일로화된다는 점입니다.

간단히 말해, 멀티모달 모델을 비롯한 여러 모델이 조직에 배포되면 서로 통합되지 않고 병렬로 작동하며, 그에 따라 수많은 취약점이 발생합니다. 이로 인해 보안 팀은 보호하고 방어해야 할 시스템을 단편적으로만 파악하게 됩니다. 하지만 실제로 필요한 것은 운영 중인 모든 모델의 내부와 모델 전반을 완전하고 원활하게 파악할 수 있는 가시성입니다.

기업에서는 여기에 ChatGPT와 같은 대규모 외부 모델, BloombergGPT와 같은 특정 목적용 모델, Salesforce와 같은 SaaS 애플리케이션에 내장된 모델, 검색 증강 생성(RAG) 모델, 그리고 회사 데이터로 미세 조정된 소규모 내부 모델 등이 포함될 수 있습니다. 이러한 모델은 모두 합쳐 수십 개에서 수백 개에 이를 수 있으며, 그 증가세는 당분간 둔화되지 않을 것입니다.

이때 필요한 개념이 바로 관찰 가능성(Observability)입니다. 관찰 가능성은 의사 결정 과정, 내재적 한계, 신뢰성, 효율성, 효과성 등 모델의 성능과 동작을 파악하고 평가하며, 관련 인사이트를 종합할 수 있어야 한다는 필수 요건을 충족합니다. 모델 배포 프레임워크에 관찰 가능성 계층을 통합하면 AI 기반 애플리케이션을 성공적으로 활용하고 안전하게 보호하며 유지 관리할 수 있는 견고한 기반이 마련됩니다.

모델 관찰 가능성의 이점

모델의 동작을 관찰하면 잠재적인 공격 동향과 패턴에 관한 정보뿐만 아니라 재무, 운영, 나아가 인사 문제와 관련된 더욱 세분화된 분석 정보까지 얻을 수 있습니다. 다음과 같은 주요 중점 영역에 대한 가시성을 확보하면 자원 배분, 생산성, 혁신 및 경쟁 우위를 강화할 수 있습니다.

성능 보장: API 연결부터 모델의 쿼리 응답에 이르기까지 실제로 작동하는 모델을 관찰하면 조직은 지연 시간, 처리량, 정확도(개별 모델 내부 및 모델 간)와 같은 핵심 성능 지표를 지속적으로 모니터링하고 비교할 수 있습니다. 이러한 실시간 감독을 통해 병목 현상을 즉시 식별하고 완화하여 AI 시스템에서 일관된 사용자 경험을 제공하고 성능 기준을 준수할 수 있습니다.
오류 관리: 강력한 관찰 가능성 프레임워크는 상세한 지표를 수집하고 기록하여 관리자에게 모델의 의사 결정 프로세스를 심층적으로 파악할 수 있는 정보를 제공합니다. 이를 통해 오류를 신속하게 식별하고 해결하며 모델 성능에 대한 신뢰를 높일 수 있습니다.
사용 분석: 관측성 도구를 사용하면 응답 시간과 API 호출 추적부터 트래픽 패턴 분석 및 반복되는 사용 사례 식별에 이르기까지 실제 사용 환경에서의 상호작용 시나리오를 검토할 수 있습니다. 모델 기능(오류율, 토큰 사용량 등)과 사용자 상호작용(프롬프트와 응답에서 민감하거나 금지된 콘텐츠, 공격 시도 등을 탐지)을 실시간으로 모니터링하면 조직이 실제 사용 현황을 바탕으로 모델을 지속적으로 개선하고 재조정하는 데 도움이 되는 인사이트를 얻을 수 있습니다.
모델 드리프트: AI 모델의 성능을 명확하게 파악하면 관리자와 개발자가 변화하는 데이터 환경으로 인한 성능 저하, 즉 ‘모델 드리프트’를 식별할 수 있습니다. 모델의 출력을 신뢰할 수 있도록 적시에 모델을 재학습하거나 미세 조정하려면 모델 드리프트가 발생한 시점을 파악하는 것이 매우 중요합니다.
리소스 최적화 및 확장: 조직 전반에 LLM을 배포하면 메모리 및 CPU/GPU 사용량 등 높은 컴퓨팅 리소스가 요구될 수 있으므로, 비용 최적화나 사용자 증가 또는 워크로드 급증에 따른 확장을 고려할 때 리소스 사용 현황에 대한 인사이트가 중요한 데이터 포인트가 됩니다.
규정 준수: 내부의 허용 가능한 사용, 개인정보 보호 및 기타 정책뿐만 아니라 업계 표준과 정부 규정에 대한 시스템 및 사용자의 준수 상태를 파악하는 것은 모든 조직에서 매우 중요하며, 특히 의료 및 금융과 같은 규제 산업에서는 더욱 그렇습니다. 상세 로그와 기타 지표를 확인하고 감사할 수 있는 솔루션을 활용하면 모델 배포가 데이터 개인정보 보호, 보안 및 기타 규정 준수 기준을 충족하도록 보장할 수 있습니다.

기업에서 관찰 가능성의 중요성

혁신이 발전할수록 더욱 향상된 옵저버빌리티가 필요해질 것입니다. LLM과 기타 생성형 AI 모델은 계속해서 더욱 복잡해지고 자동화될 것이며, 성능, 사용량, 보안의 모든 측면을 실시간으로 모니터링하는 일이 점점 더 중요해질 것입니다.

동시에 정부 기관들도 대응을 강화해 유럽연합의 일반 데이터 보호 규정(GDPR)과 같은 규제를 법제화하고, EU AI 법과 같은 규제 초안을 발표했으며, 바이든 행정부의 안전하고 보안이 강화된 신뢰할 수 있는 인공지능에 관한 행정명령과 미국 국립표준기술연구소(NIST)의 위험 관리 프레임워크(RMF) 등을 통해 지침을 제시했습니다. 이러한 의무 사항과 지침 외에도 규제 산업에는 복잡한 자체 규정이 있고, 비규제 산업에도 준수해야 할 표준이 있으며, 각 조직에는 고유한 기업 가치를 반영하고 강화하는 정책이 있습니다.

비즈니스 생태계에서 LLM의 배포와 사용에 관한 지침을 발표하는 기관이 늘어남에 따라, 이러한 지침의 준수를 지원하고 강제하며 모니터링하고 보고하는 일이 매우 중요해질 것입니다. 규정을 준수하지 않으면 막대한 재정적 손실과 평판 훼손이 발생할 수 있으며, 이는 주주 신뢰, 경쟁 우위, 고객 신뢰 등에 연쇄적인 악영향을 미칠 수 있습니다. 프로덕션 환경에서 모델이 어떤 방식으로, 얼마나 효과적으로, 얼마나 안전하게 작동하는지 파악하는 것이 갈수록 더 중요해질 것입니다.

완전한 관측성을 갖춘 AI 보안

분명히 AI 모델의 성능과 동작을 관찰, 분석 및 평가하는 것은 성능을 개선하고 신뢰할 수 있는 결과물을 생성하는 데 매우 중요합니다. 조직의 디지털 보안 인프라 전반에 걸쳐 완전한 옵저버빌리티를 원활하게 구현하는 플랫폼을 통합하는 것은 판도를 바꾸는 결정이라 할 수 있습니다. 당사의 AI 런타임 보안 및 지원 솔루션이 바로 그 판도를 바꾸는 솔루션입니다.

당사의 솔루션은 12개 이상의 맞춤형 콘텐츠 스캐너와 상세한 사용자 및 사용 현황 감사 기능 등 업계 최초의 기능을 통해 내부 및 외부 위협으로부터 모델을 보호하는 단순한 신뢰 계층 이상의 역할을 합니다. 폭넓은 사용자가 편리하게 이용할 수 있도록 명확하고 직관적인 인터페이스를 제공하며, 개발자와 기타 기술 사용자가 효율적으로 활용할 수 있도록 사용하기 쉬운 API 접근성도 지원합니다.

특정 개인 및 지정된 팀을 위해 설정된 API를 포함한 API의 활용은 시스템에 대한 인사이트를 확보하고 보안 상태, 모델 성능 및 사용자 분석 데이터를 모니터링하고 분석할 수 있는 추가적인 수단을 제공합니다. 관리자는 API 호출을 추적하고 엔드포인트를 검토하여 가장 자주 사용되는 엔드포인트를 파악하고, 지연 시간과 오류율을 추적하며, 버전 호환성을 모니터링하고, 새롭게 나타나거나 특이한 행동 패턴을 식별하며, 종속성을 모니터링할 수 있습니다. 또한 트래픽을 분석하여 잠재적인 병목 현상을 파악하고 라우팅 규칙이 올바르게 유지되는지 확인할 수 있습니다.

당사의 플랫폼은 모델 응답 시간에 부담이나 지연을 더하지 않으면서 전체 AI 시스템 구성을 포괄하는, 사실상 눈에 띄지 않는 양방향 보안 상위 구조로 작동합니다. 당사의 솔루션은 확장 가능하고 모델에 구애받지 않으며 맞춤 설정이 가능할 뿐만 아니라, 개인·팀·조직 수준에서 적용할 수 있는 정책 기반 액세스 제어 기능을 제공합니다. 이는 모든 AI 보안 프레임워크가 생성형 AI 모델 배포의 현재와 미래 과제에 대응하는 데 필요한 강력하고 유연하며 신속하게 대응하는 구성 요소입니다.