AI 데이터 거버넌스: AI 수명 주기 전반의 데이터 관리

F5 Newsroom Staff

엔터프라이즈 AI는 이미 시범 운영 단계를 훨씬 넘어섰습니다. F5 2026 애플리케이션 전략 현황 보고서에 따르면, 조직의 78%가 이미 AI 추론을 운영하고 있으며 98%는 에이전틱 AI를 준비하고 있다고 답했습니다.

기업들이 AI 시스템 도입에 속도를 내면서 데이터 거버넌스가 핵심 과제로 떠오르고 있습니다. AI 시스템은 수명 주기의 모든 단계에서 데이터에 의존합니다. 조직은 AI 모델의 학습과 개선을 위해 데이터를 입력합니다. AI 도구는 데이터를 프롬프트로 받아들이고, 벡터 데이터베이스에서 데이터를 검색하며, 서술형 응답의 형태로 데이터를 출력합니다. 또한 자율 에이전트는 작업을 수행하기 위해 데이터에 접근합니다.

각 단계에는 데이터 거버넌스에 관한 의사 결정이 수반됩니다. 데이터 흐름을 모니터링하고 데이터 접근을 통제해야 합니다. 하지만 최신 도구를 배포하거나 새로운 에이전트를 개발하기 전에 거버넌스 체계를 마련한 조직은 너무나 적습니다. 그 결과 데이터와 비즈니스가 여러 위협에 노출됩니다.

AI 데이터 거버넌스를 구현하는 첫 단계는 이것이 기존 데이터 거버넌스 및 AI 모델 거버넌스와 어떻게 다른지 이해하는 것입니다. 그런 다음 위험이 가장 큰 영역에 집중하고, AI 도입 속도를 늦추지 않으면서 민감한 데이터를 통제하는 방안을 수립할 수 있습니다.

AI 데이터 거버넌스란 무엇인가요?

AI 데이터 거버넌스는 AI 수명 주기 전반에서 데이터가 수집, 분류, 사용, 전송, 보관 및 삭제되는 방식을 관리하는 일련의 정책과 기술적 통제 수단입니다. 데이터 거버넌스는 다음을 비롯한 광범위한 데이터를 포괄해야 합니다:

• 모델 학습 및 미세 조정에 사용되는 데이터.
• 추론 중에 주고받은 프롬프트와 응답.
• 모델의 응답을 보강하는 데이터.
• 에이전트가 수행한 도구 및 API 호출.
• AI 프로세스 중에 생성된 텔레메트리 데이터.

기존의 데이터 거버넌스 접근 방식은 AI 시스템에 적합하지 않습니다. 이러한 접근 방식은 주로 기업 리포지토리에 저장된 정형 데이터에 초점을 맞춥니다. 저장 상태의 해당 데이터는 예측 가능한 쿼리를 통해 액세스되며, 액세스 권한은 정기적으로 검토됩니다.

AI 시스템 데이터는 속성과 동작 방식이 다릅니다. 구체적으로 AI 데이터는 다음과 같습니다:

• 비정형 및 대화형: 자유 형식의 프롬프트와 AI가 생성한 응답에는 데이터베이스에 저장된 정형 데이터를 위해 설계된 정책을 적용할 수 없습니다.
• 이동 중: AI 시스템에서는 프롬프트가 모델에 입력되고 모델이 응답을 반환하는 과정에서 데이터가 끊임없이 이동합니다. AI 에이전트는 단 몇 초 만에 API와 모델을 수천 번 호출할 수 있습니다. 기존 데이터 거버넌스 모델의 분기별 액세스 검토만으로는 이렇게 이동하는 데이터를 통제하기에 충분하지 않습니다. AI 시스템의 기계적 처리 속도에 발맞추려면 AI 데이터 거버넌스를 자동화해야 합니다.
• 비결정적: AI 모델은 동일한 질문에도 매번 다르게 답할 수 있습니다. 출력 제어는 의미와 맥락을 평가해야 합니다. 기존 데이터 거버넌스의 패턴 매칭 방식에 의존할 수 없습니다.

AI 시스템 데이터의 경우, 상호작용이 이루어지는 지점에서 거버넌스를 인라인으로 적용해야 합니다.

AI 데이터 거버넌스와 AI 모델 거버넌스 비교

AI 데이터 거버넌스와 AI 모델 거버넌스는 함께 작동해야 하지만, 서로 구별되는 전략입니다. 이 두 전략은 서로 다른 팀이 담당하는 경우가 많습니다.

AI 모델 거버넌스는 모델과 에이전트를 통제하는 데 중점을 둡니다. 모델 거버넌스 전략은 사용이 승인된 모델, 모델의 소유자, 모델의 학습 방식, 프로덕션 환경에서 실행되는 버전, 동작 모니터링 방식, 모델 폐기 시점을 관리합니다.

AI 데이터 거버넌스는 AI가 액세스할 수 있는 데이터와 해당 데이터가 이동하는 경로에 중점을 둡니다. 이러한 전략은 데이터의 분류 방식, 기업 외부로 반출되지 않도록 제한할 데이터, 데이터를 처리해야 하는 위치, 데이터 보존 기간을 관리합니다.

AI 데이터 거버넌스와 모델 거버넌스는 함께 작동해야 합니다. 그렇지 않으면 둘 다 실패할 수밖에 없습니다. 모델의 프롬프트와 응답을 검사하지 않으면 문서화와 평가가 철저히 이루어진 모델이라도 규제 대상 데이터를 유출할 수 있습니다. 마찬가지로 승인되지 않은 에이전트가 고객 데이터베이스에 접근할 수 있다면 강력한 데이터 통제만으로는 데이터 노출을 막지 못할 수 있습니다.

이러한 상호 의존성은 확립된 AI 거버넌스 프레임워크와 표준에도 반영되어 있습니다. 미국 국립표준기술연구소 AI 위험 관리 프레임워크(NIST AI RMF)는 거버넌스(Govern), 맥락 파악(Map), 측정(Measure), 관리(Manage) 기능을 통해 AI 위험을 수명 주기 전반에 걸쳐 다룹니다. ISO/IEC 42001도 이와 유사하게 AI 거버넌스를 위한 조직 전반의 관리 시스템을 수립하며, 클라우드 보안 연합 AI 통제 매트릭스(AICM)는 AI 거버넌스를 실행 가능한 보안 통제로 구체화합니다. 이러한 접근 방식에서는 데이터 거버넌스와 모델 거버넌스를 서로 분리해 다루지 않습니다. 둘 다 수명 주기 전반에 걸쳐 AI 위험을 관리하는 데 필수적인 요소입니다.

주요 AI 데이터 위험 식별

데이터가 AI 시스템을 거치는 과정에서 우발적으로 또는 의도적으로 노출될 수 있는 잠재적 경로는 여러 가지입니다. AI 거버넌스는 이러한 취약점을 해소하거나 완화하기 위해 존재합니다.

• 섀도 AI: 직원들은 보안팀이나 IT팀이 모르는 사이에 AI 도구를 사용하는 경우가 많습니다. 전사적 보안 솔루션이나 데이터 거버넌스 정책을 마련해 두었더라도, 승인되지 않은 AI 시스템을 통해 흐르는 데이터는 여전히 관리되지 않습니다.
• 입력: 승인된 도구를 사용할 때도 직원들은 단지 질문에 가장 빠르게 답할 수 있다는 이유로 고객 데이터부터 건강 정보에 이르는 민감한 정보를 무심코 입력할 수 있습니다. 이렇게 입력된 데이터는 외부로 유출될 수 있습니다.
• 출력: 특정 방식으로 프롬프트를 입력하면 생성형 AI 모델이 개인정보 일부를 비롯한 학습 데이터의 일부를 재현할 수 있습니다(이를 '암기 유출'이라고도 함). 공격자는 AI를 사용해 이러한 조각을 다시 조합하여 사기 목적으로 민감한 정보를 복원할 수 있습니다.
• 검색 파이프라인: 검색 증강 생성(RAG)은 벡터 데이터베이스에 저장된 데이터를 활용합니다. 문서가 원래의 액세스 제어 없이 이러한 데이터베이스에 임베딩되면, 모델이 원본 파일을 열 권한이 없는 사용자에게도 해당 콘텐츠를 노출할 수 있습니다.
• 상시 권한이 부여된 에이전트: 에이전트에 대한 모든 위협은 해당 에이전트가 연결된 도구, 데이터베이스 및 서버로 확산됩니다. 에이전트에 광범위한 권한이 부여되면 에이전트가 접근하는 데이터가 노출될 수 있습니다.
• 타사 모델: 외부 모델에 프롬프트를 전송하면 민감한 데이터가 조직의 통제 범위를 벗어나 지리적 경계를 넘어갈 수 있습니다. 이로 인해 보존 기간을 관리하고, 처리 위치를 통제하며, 데이터 현지화 요건을 충족하고, 민감한 정보가 모델 학습에 사용되지 않도록 보장하기가 더욱 어려워집니다.
• 데이터 지속성: 일정 기간이 지난 후 또는 고객의 요청에 따라 데이터를 삭제하는 것은 데이터 거버넌스 정책에서 흔히 요구되는 사항입니다. 데이터베이스에서 레코드를 삭제하는 것은 비교적 간단하지만, 이미 모델 가중치에 반영된 정보를 제거하는 것은 훨씬 더 어렵습니다. 따라서 학습에 사용할 데이터를 신중하게 계획해야 합니다.

보안 도구가 AI 시스템의 보안 공백을 메우지 못하는 이유

데이터 손실 방지(DLP) 및 데이터 보안 태세 관리(DSPM) 도구는 기업 데이터를 보호하는 데 매우 유용할 수 있습니다. 하지만 AI 시스템을 통해 다음과 같은 이러한 도구의 주요 한계가 드러날 수 있습니다:

• 실시간 데이터 가시성 부족: DSPM 도구는 민감한 데이터가 저장된 위치를 파악합니다. 하지만 AI 시스템에서 사용하는 데이터는 계속 이동하며, 이동하는 과정에서 취약해집니다. DSPM 도구로는 해당 데이터를 관리하는 데 필요한 실시간 가시성을 확보할 수 없습니다.
• 정형 데이터에 맞춰진 분류: DLP 및 DSPM 도구는 패턴 일치를 사용하여 데이터를 분류합니다. 이 방식은 정형 데이터에는 효과적이지만, 사용자가 프롬프트에 입력하고 응답으로 받는 비정형 서술형 콘텐츠에는 그다지 효과적이지 않습니다.
• 잘못된 위치에서의 통제: DLP 도구는 엔드포인트에서의 업로드를 차단할 수는 있어도, 사용자가 민감한 정보가 포함된 프롬프트를 전송하는 것은 막지 못할 수 있습니다. 데이터 교환이 이루어지는 추론 계층까지 도구가 접근할 수 있어야 합니다.
• 활용 가능한 기록 부재: 규정 준수 팀은 AI 시스템에 어떤 질문이 입력되었고, 시스템이 어떻게 응답했으며, 어떤 정책이 적용되었는지를 입증해야 하는 경우가 많습니다. 기존 DLP 및 DSPM 도구로는 이러한 증거를 생성할 수 없습니다.

이러한 도구는 애초에 AI 워크플로에서 데이터를 보호하도록 설계되지 않았습니다. 따라서 AI에 특화된 전략과 솔루션으로 보완해야 합니다.

AI 데이터 거버넌스를 강화하기 위한 실천 방안

모든 AI 거버넌스 전략이 동일한 것은 아닙니다. 하지만 위험을 성공적으로 최소화하는 전략에는 다음 8가지 모범 사례 중 몇 가지가 공통적으로 적용되는 경우가 많습니다.

• 모든 AI 사용 현황 파악: 데이터를 관리하려면 먼저 기업 전반에서 AI가 데이터를 어디에서 어떻게 사용하고 있는지 파악해야 합니다. 승인된 애플리케이션과 에이전트뿐만 아니라 승인되지 않은 도구까지 목록화하여 데이터가 이동할 수 있는 모든 경로를 찾아내세요.
• 상호작용 중 데이터 분류: 저장된 데이터를 분류하는 것뿐만 아니라 프롬프트, 응답 및 도구 호출에 포함된 데이터도 분류해야 합니다. 이를 위해서는 정형화된 패턴만 파악하는 것이 아니라 대화의 맥락을 이해할 수 있는 역량이 필요합니다.
• 인라인으로 정책 적용: 데이터 거버넌스 정책은 데이터가 목적지에 도달하기 전, 이동하는 과정에서 적용되어야 합니다. 예를 들어 프롬프트에 입력되는 민감한 데이터를 즉시 삭제하면 직원들이 업무를 계속할 수 있는 동시에 해당 데이터가 내부 또는 외부 모델의 지식 베이스에 수집되는 것을 방지할 수 있습니다.
• 최소 권한 원칙 적용: 모델, 에이전트 및 RAG 도구가 민감한 데이터에 액세스하지 못하도록 해야 합니다. AI 시스템에 가드레일을 마련하여 AI 모델과 에이전트가 반드시 필요한 항목에만 액세스할 수 있도록 하고, 일반 사용자와 동일한 주기로 시스템 권한을 검토하세요.
• 감사 추적 기록 생성: 인시던트 대응을 개선하고 규정을 준수하려면 요청, 응답, 적용된 정책 및 시행 결정이 포함된 감사 추적 기록을 유지하세요. 이 정보를 활용하여 정책을 세부 조정하고 규정 준수를 입증할 수 있습니다.
• 지속적으로 테스트하세요: 위협은 빠르게 진화합니다. 현재 민감한 데이터를 성공적으로 보호하는 정책도 6개월 후에는 효과가 떨어질 수 있습니다. 레드팀 활동과 자동화된 테스트를 도입하면 허점을 찾아내고 정책을 업데이트하는 데 도움이 됩니다.
• 데이터 공급망 관리: 포괄적인 거버넌스를 위해서는 AI 시스템에서 데이터를 다루는 모든 요소를 파악할 수 있어야 합니다. 예를 들어 외부 모델을 사용하는 경우, 학습 제외 옵션, 데이터 보존 기간, 처리 위치 및 하위 처리업체 이용에 관한 제공업체의 약관을 검토하세요.
• 책임자 지정: AI 데이터 거버넌스에는 보안, 개인정보 보호, 법무, 데이터 과학 및 애플리케이션 팀이 관여할 수 있습니다. 데이터 거버넌스 책임자를 지정하고 정기적인 검토를 실시하여 배포된 시스템이 기존 정책에서 벗어나지 않도록 하세요.

AI가 실행되는 곳에 거버넌스 적용

대부분의 데이터 거버넌스 관행은 AI 트래픽이 직접 통과하는 경로에 적용될 때만 효과를 발휘합니다. 이것이 바로 AI 데이터 거버넌스 및 보안에 대한 F5 접근 방식의 기본 원칙입니다.

The F5 AI Security Platform은 엔터프라이즈 AI 전반의 검색, 거버넌스, 테스트 및 런타임 보호를 통합합니다. F5 Workforce AI Security는 조직 구성원이 사용하는 모델, 도구, 프롬프트 및 데이터를 비롯해 승인된 AI와 승인되지 않은 AI의 사용 현황에 대한 가시성을 제공합니다. F5 AI Gateway는 AI 모델, 에이전트 및 도구에 대한 액세스를 관리하는 제어 지점을 제공합니다. F5 AI Red Team은 적대적 테스트를 통해 AI 시스템의 취약점과 약점을 식별하며, F5 AI Guardrails는 AI 상호작용 중에 정책을 적용하여 민감한 데이터 유출, 악의적 활동 및 정책 위반을 방지하도록 지원합니다.

데이터가 반드시 취약점이 될 필요는 없습니다. 적절한 데이터 거버넌스를 구축하면 안전하고 자신 있게 AI 도입을 추진할 수 있습니다.

자주 묻는 질문

AI 데이터 거버넌스와 기존 데이터 거버넌스의 차이점은 무엇인가요?

기존의 데이터 거버넌스는 주로 저장소에 보관된 정형 데이터를 관리합니다. AI 데이터 거버넌스는 사용자가 AI 도구에 입력하는 텍스트와 AI가 생성한 응답으로 받는 텍스트처럼 이동 중인 비정형 데이터까지 포괄해야 합니다. 이러한 데이터는 이동 중이므로 상호작용이 이루어지는 지점에서 인라인으로 거버넌스를 적용해야 합니다.

AI 데이터 거버넌스는 AI 모델 거버넌스와 어떤 관련이 있나요?

AI 모델 거버넌스는 모델과 에이전트를 감독합니다. 예를 들어, 조직은 모델 목록을 작성하고, 에이전트의 권한을 관리하며, 동작을 모니터링해야 합니다. AI 데이터 거버넌스는 이러한 모델과 에이전트에 입력되고 그로부터 출력되는 데이터에 중점을 둡니다. 실제로 데이터 거버넌스와 모델 거버넌스는 어느 한쪽이 제대로 작동하지 않으면 다른 쪽도 실패하므로 함께 운영되어야 합니다.

DLP 및 DSPM 도구와 같은 기존 보안 솔루션만으로는 AI 데이터 거버넌스에 충분하지 않은 이유는 무엇인가요?

데이터 손실 방지(DLP) 및 데이터 보안 태세 관리(DSPM) 도구는 데이터 보호에 필수적이지만, AI 데이터 거버넌스에는 활용도가 제한적입니다. 대부분 실시간 데이터 가시성을 제공하거나, 비정형 데이터를 분류하거나, 추론 과정에서 거버넌스를 적용하거나, AI 시스템의 감사 추적 기록을 생성할 수 없습니다.

F5는 조직이 효과적인 데이터 거버넌스 전략을 수립하도록 어떻게 지원하나요?

F5 AI Security Platform을 통해 조직은 전사적인 AI 사용 현황을 파악하고, 데이터 거버넌스 정책을 수립하며, 데이터가 AI 시스템을 통해 흐르는 동안 정책을 적용할 수 있습니다. 또한 조직은 F5의 기능을 활용해 감사에 바로 사용할 수 있는 기록을 생성함으로써 데이터 및 AI 시스템 관련 법률, 프레임워크, 표준을 준수할 수 있습니다.

자세히 알아보기: F5 AI Security Platform.

작성자 소개

F5 Newsroom Staff

F5 Newsroom Staff의 다른 블로그 게시물