AI 거버넌스 및 관리 학습 리소스

AI 모델 거버넌스는 부정확성, 환각, 편향, 부적절한 콘텐츠, 데이터 유출 등 모델 출력에서 발생하는 위험을 줄이는 데 중점을 둡니다. AI 에이전트 거버넌스는 무단 시스템 호출, 비용을 초래하는 무한 루프, 권한 상승 등 잠재적으로 유해한 에이전트 작업을 관리하는 데 중점을 둡니다. 에이전트 거버넌스를 위해서는 에이전트에 고유한 비인간 ID를 할당하고, 런타임 제어를 지속적으로 적용하며, 중요한 결정이나 작업에 사람이 개입하도록 해야 합니다.

EU AI법은 AI 시스템의 위험 수준을 허용할 수 없는 위험, 고위험, 투명성 위험, 최소 위험 또는 무위험의 네 가지로 정의합니다. 허용할 수 없는 위험에 해당하는 특정 AI 관행은 금지되며, 최소 위험 또는 무위험에 해당하는 활용은 일반적으로 이 법에 따른 추가 규제를 받지 않습니다. 미국 국립표준기술연구소(NIST)의 AI 위험 관리 프레임워크(RMF)는 거버넌스 수립(Govern), 맥락 파악(Map), 측정(Measure), 관리(Manage)의 네 가지 기능으로 구성된 자발적 프레임워크입니다. EU AI법은 권리를 보호하고 혁신을 지원하는 동시에 안전하고 인간 중심적이며 신뢰할 수 있는 AI를 보장하는 것을 목표로 합니다. NIST AI RMF는 AI 시스템의 신뢰성 향상에 보다 중점을 둡니다.

책임 소재와 법적 책임은 에이전틱 AI의 핵심 고려 사항입니다. 조직은 거버넌스 프로그램의 일환으로 AI 에이전트에 대한 책임 소재를 명확히 정립해야 합니다. 심각한 오류나 재정적 손실이 발생할 경우, 법적 책임은 적용되는 법률 체계, 계약 조건 및 관련 조직의 역할에 따라 결정됩니다. 상황에 따라 에이전트를 배포한 조직, 공급업체나 개발자 또는 기타 당사자가 책임을 질 수 있습니다.

에이전트에 비인간 ID(NHI)를 할당하면 조직이 세분화된 최소 권한 액세스 정책을 통해 에이전트의 작업을 제한할 수 있어 보안이 강화됩니다. 효과적인 NHI 관리는 에이전트의 무분별한 확산을 억제하는 데 도움이 됩니다. 예를 들어, 검증된 ID만 시스템 호출을 실행하도록 허용하면 호출을 실행할 수 없는 섀도 에이전트의 수를 줄일 수 있습니다. 또한 조직은 수명이 짧은 ID 토큰을 사용하여 방치되었거나 비활성 상태인 에이전트와 관련된 보안 위험을 줄일 수 있습니다.

AI 에이전트 스웜은 여러 에이전트가 자율적으로 협업하면서 컨텍스트를 공유하거나 외부 도구를 호출해 여러 단계로 이루어진 작업을 완료할 때 발생합니다. 오픈 소스 도구와 프레임워크는 이러한 스웜을 관리하는 데 도움이 될 수 있습니다. 예를 들어 조직은 OpenTelemetry(OTel) 프레임워크를 Jaeger 또는 Grafana Tempo와 같은 도구와 함께 사용하여 AI 에이전트 스웜을 모니터링하고 감사할 수 있습니다. OTel은 에이전트의 텔레메트리 데이터를 수집하고, Jaeger 또는 Tempo는 감사를 용이하게 하는 시각적 맵을 생성합니다.

엔터프라이즈 AI 거버넌스 위원회를 구성하려면 먼저 엔지니어링, 사이버 보안, 법무, 재무, 제품 부문의 고위 리더들로 이루어진 범부서 조직을 꾸려야 합니다. 책임 범위를 정한 후에는 정책을 수립하고, 필요에 따라 CoE(Center of Excellence)를 통해 해당 정책을 전사적으로 운영에 적용해야 합니다. 기술 및 위험 관리 실무자로 구성된 CoE는 AI 시스템을 식별, 평가 및 분류하기 위한 표준화된 프로세스를 구축하고, 정책을 준수하는 개발 프로세스를 간소화하며, ID 제어를 배포하고, 추적 및 테스트를 구현할 수 있습니다.