AI의 핵심 개념: 투명성과 설명 가능성

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

AI에 대한 업계의 우려를 파악하려는 거의 모든 설문조사는 모든 문제를 ‘보안’이라는 범주에 한데 묶습니다. 민감한 데이터 유출에 대한 우려부터 환각과 편향까지, 프롬프트 인젝션을 통한 악용부터 투명성과 설명 가능성까지, AI와 관련해서는 모든 것이 보안의 책임인 듯합니다.

이러한 우려는 하나같이 타당하고 중요하지만, 각각의 성격은 매우 다르며 대부분은 보안 부문이 책임질 사안이 아닙니다.

오늘은 비즈니스에서 AI를 활용할 때 반드시 이해하고 실천해야 할 핵심 개념인 투명성과 설명 가능성을 자세히 살펴보겠습니다. 이 두 개념은 시스템과 그 결과에 대한 신뢰를 구축하는 데 도움이 될 뿐만 아니라, 특히 개발 과정에서 시스템의 문제를 해결하고 디버깅하는 데도 유용합니다.

투명성과 설명 가능성

투명성과 설명 가능성은 일반적으로도 중요한 개념이지만, IT 분야 종사자를 포함한 대부분의 실무자가 이러한 시스템의 작동 방식을 잘 알지 못한다는 점에서 특히 AI에 중요하게 적용됩니다. 두 개념은 윤리적 AI, 책임 있는 AI, AI 거버넌스의 맥락에서 자주 논의됩니다. 서로 밀접하게 연관되어 있지만 각각 의미가 다르며, AI 시스템을 이해하고 관리하는 데 서로 다른 역할을 합니다.

투명성은 이해관계자와 일반 대중을 비롯한 폭넓은 대상에게 AI 시스템에 관한 전반적인 정보를 제공하는 데 중점을 둡니다. 설명 가능성은 이보다 더 구체적인 개념으로, 시스템의 작동 방식을 이해해야 하는 사용자, 개발자 및 이해관계자에게 개별적인 결정이나 결과를 명확히 설명하는 것을 목표로 합니다.

투명성은 시스템에 대한 신뢰를 높이는 데 중점을 두는 반면, 설명 가능성은 특정 결과에 대한 신뢰를 구축하는 데 중점을 둡니다. 이를 위해 투명성과 설명 가능성은 서로 다른 요소에 초점을 맞춥니다.

투명성: 출처를 명시하세요

AI의 투명성이란 AI 시스템의 설계, 운영 및 의사 결정 과정에 관한 정보가 이해관계자에게 얼마나 공개되어 있고, 접근 가능하며, 이해하기 쉬운지를 의미합니다. 이는 AI 시스템의 작동 방식에 대한 명확한 소통과 가시성을 강조하여 이해관계자가 시스템의 다양한 측면을 이해할 수 있도록 합니다.

AI 투명성의 핵심 요소는 다음과 같습니다:

• 설계 및 개발: 투명성이란 AI 시스템의 설계, 아키텍처 및 학습 과정에 관한 정보를 공개하는 것을 의미합니다. 여기에는 사용된 데이터의 유형과 적용된 알고리즘 및 모델이 포함됩니다. 이러한 투명성은 금융 서비스 제공업체가 주택담보대출 자격을 결정하는 데 어떤 데이터와 가중치가 사용되는지 설명하거나 신용평가기관이 FICO 점수 산정 방식을 공개하는 것과 유사합니다.
• 데이터 및 입력: 투명성이란 AI 시스템의 학습 및 운영에 사용되는 데이터의 출처와 데이터 유형을 명확히 밝히는 것을 의미합니다. 또한 입력 데이터에 적용된 모든 전처리, 변환 또는 증강 작업을 공개하는 것도 포함됩니다. 이러한 정보는 기업이 어떤 데이터를 수집하고 저장하며 누구와 공유할 수 있는지를 알리는 데이터 수집 고지문과 유사합니다.
• 거버넌스 및 책임: AI 시스템의 개발, 배포 및 거버넌스를 담당하는 주체에 관한 정보를 제공합니다. 이를 통해 이해관계자는 책임 구조를 파악할 수 있습니다.

설명 가능성: 작업 과정을 공개하세요

AI의 설명 가능성이란 시스템의 의사 결정, 출력 또는 행동에 대해 이해하기 쉬운 근거나 정당성을 제시할 수 있는 능력을 의미합니다. 이는 특정 결정이 내려진 이유를 설명하고, 사용자와 이해관계자가 AI의 결과를 이해할 수 있도록 하는 데 중점을 둡니다.

AI 설명 가능성의 핵심 요소는 다음과 같습니다:

• 의사결정의 근거: 설명 가능성이란 특정 결정이나 결과를 도출한 요인과 논리를 상세히 밝히는 것을 의미합니다. 이는 "AI가 왜 이런 결정을 내렸는가?"와 "무엇이 이 결과에 영향을 미쳤는가?"라는 질문에 답합니다. 이는 기하학에서 증명하는 것과 비슷합니다. 즉, 결과를 설명하려면 사이 관계, 합동, 평행선 등의 공리에 의존해야 합니다. 다시 말해, AI가 2+2=5라고 판단한다면 반드시 대체 수학 체계에 근거했거나 해당 방정식을 문학적 장치로 사용했다는 등의 타당한 판단 근거를 제시해야 합니다.
• 모델 해석 가능성: 설명 가능성을 확보하려면 이해관계자가 의사 결정이 이루어지는 근본적인 메커니즘을 이해할 수 있도록 AI 모델을 해석 가능한 형태로 만들어야 합니다. 예를 들어 모든 사람이 미적분학을 이해하는 것은 아니므로, 복잡한 방정식 형태의 설명만으로는 충분하지 않습니다. 생성적 적대 신경망(GAN)과 합성곱 신경망(CNN)은 작동 방식에 상당한 차이가 있으므로, 어떤 아키텍처 접근 방식을 사용하는지 공개하는 것은 해석 가능성의 중요한 요소입니다.
• 인간의 이해 가능성: 설명은 비전문가를 포함한 누구나 쉽게 이해할 수 있는 형식으로 제공되어야 합니다. 이를 위해 복잡한 AI 작동 방식을 간단하고 명확하게 제시해야 합니다. 설명을 16진수 형식이나 코드로 제시해서는 안 되며, 법무, 규정 준수 및 엔지니어링 담당자를 비롯한 모든 이해관계자가 이해할 수 있는 형식을 사용해야 합니다.

AI에 대한 신뢰 구축

모든 신기술이 신뢰를 얻기까지는 시간이 필요합니다. 15년 전만 해도 중요 애플리케이션의 자동 확장을 신뢰하는 사람은 없었지만, 오늘날에는 기본적으로 갖춰야 할 핵심 기능으로 여겨집니다. 복잡한 수학 문제를 풀거나 자동차를 운전하거나 공과금을 납부하는 등 어떤 형태의 자동화든 사용자가 신뢰하기까지는 시간이 걸립니다. 프로세스를 투명하게 공개하고 시스템의 작동 방식을 설명하면 기술이 처음 소개된 시점부터 실제로 도입되기까지의 간극을 크게 줄일 수 있습니다.

투명성은 AI 시스템의 작동 방식을 폭넓게 보여 주는 반면, 설명 가능성은 특정 결정이나 결과가 나온 이유를 심층적으로 다룹니다. AI가 성공적으로 활용되고 기업이 더 나은 고객 서비스, 생산성 향상, 신속한 의사 결정이라는 이점을 실현하려면 두 요소 모두 필수적입니다.

그리고 둘 다 보안의 소관은 아닙니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물