AI 편향이란 무엇이며, IT에 왜 중요한가?

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

편향이 존재하는지 여부는 의문의 여지가 없습니다. 편향은 분명히 존재합니다. 중요한 것은 편향이 어떻게 유입되며, IT 부서가 왜 이에 주의를 기울여야 하는가입니다.

현재 AI를 둘러싼 열기는 그 어느 때보다 뜨겁습니다. 관심은 최고조에 달했고 수요는 폭발적이며, 모두가 자사 시장을 위한 ‘킬러 앱’을 찾기 위해 분주히 움직이고 있습니다.

하지만 이러한 열풍의 이면에서는 타당한 우려의 목소리도 나오고 있습니다. AI에 편향이 개입되는 것은 비교적 쉬운 일이며, 이러한 편향은 일부 분야에서 경각심을 불러일으키고 있습니다.

AI 학습 모델 간단히 알아보기

AI에 편향이 어떻게 유입되는지 이해하려면 AI 모델이 학습되는 방식에 대한 기본적인 이해가 필요합니다.

누구에게 묻느냐, 또 그 사람이 얼마나 엄밀하게 구분하려 하느냐에 따라 학습 방법이 몇 가지인지에 대한 답은 달라질 수 있습니다. 실제로 오늘날 사용되는 방법과 알고리즘, 모델은 매우 다양하며, 이 분야에 정통하지 않은 사람에게는 이해하기 어려운 경우가 많습니다. 하지만 편향은 결국 모델을 훈련하는 과정에서 유입되므로, 모델이 어떻게 훈련되는지 큰 틀에서 이해하는 것이 중요합니다. 이를 염두에 두면 AI 모델을 훈련하는 기본적인 방법은 세 가지입니다:

1. 지도 학습. 입력 데이터에는 레이블이 지정됩니다. 시스템은 학습에 사용된 데이터 세트와 레이블을 바탕으로 출력값이 무엇이어야 하는지 알고 있으며, 이 지식을 활용해 다른 값을 예측할 수 있습니다. 이 범주에서는 크게 두 가지 유형의 알고리즘이 사용됩니다. 하나는 분류 기반 알고리즘으로, 색상, 크기, 모양 등의 속성에 따라 데이터를 범주별로 그룹화합니다. 이미지 인식은 일반적으로 이 범주에 속하며, 스팸 탐지와 이메일 필터링도 흔한 활용 사례입니다. 두 번째는 수학적 회귀 분석을 사용하여 입력과 출력 간의 선형 관계에 기반한 패턴을 찾아냅니다. 이 방법에서는 실제 기상 측정값처럼 출력값이 모델 외부에서 분류됩니다. 시장 및 기상 동향 분석에 이 방법이 자주 사용됩니다.
   
2. 비지도 학습. ‘비지도’라는 용어에서 알 수 있듯이, 시스템에는 데이터의 특성에 관한 어떠한 지침도 제공되지 않습니다. 데이터에는 레이블이 없습니다. 시스템은 스스로 패턴과 관계를 찾아내고 결과를 예측해야 합니다. 비지도 학습 알고리즘은 군집화와 연관이라는 두 가지 기법을 사용합니다. 군집화에서는 한 그룹의 데이터가 다른 그룹의 데이터와 유사성이 거의 또는 전혀 없도록, 유사성을 기준으로 데이터를 그룹화합니다. 고객의 구매 행동 분석은 군집화의 대표적인 활용 사례입니다. 연관 기법에서는 데이터 간의 종속성과 같은 관계를 찾습니다. 이 접근 방식은 전적으로 인과관계가 아닌 상관관계를 다룹니다. 비지도 시스템은 단순히 “어떤 일이 다른 일을 일으키는지”가 아니라 “어떤 것들이 서로 함께 나타나는지”를 찾아냅니다. 연관 기법은 웹 사용 패턴 마이닝에 자주 활용됩니다.
   
3. 강화 학습. 강화 학습은 지도 학습과 비지도 학습의 단점을 각각 최소화하기 위해 두 방식을 절충한 학습 방법입니다. 강화 학습에서는 시스템에 레이블이 없는 데이터를 제공하여 탐색하게 합니다. 그런 다음 출력 결과에 따라 긍정적 또는 부정적 보상을 부여하며, 시스템은 이를 통해 ‘학습’하고 의사 결정을 개선합니다. 이는 교육 과정에서 퀴즈와 시험을 활용하는 것처럼 인간의 학습 방식과 가장 유사한 모델입니다. 강화 학습은 비디오 게임, 로봇 공학, 텍스트 마이닝 등에 흔히 사용됩니다.

AI에 편향이 스며드는 방식

좋습니다. 이제 본론으로 들어가서, 이러한 시스템에 편향이 어떻게 유입될 수 있는지 살펴보겠습니다.

그 답은, 여러분도 이미 짐작하셨겠지만, 학습 과정에 사람이 관여하는 경우가 많다는 사실에 있습니다.

편향을 유도하는 가장 쉬운 방법은 지도 학습에서 데이터에 잘못된 레이블을 붙여, 말하자면 데이터를 오염시키는 것입니다. 예를 들어 동물을 분류할 때 ‘개’를 ‘고양이’로 잘못 표시하는 일이 충분히 큰 규모로 발생하면 오인식으로 이어질 수 있습니다. 레이블링에는 출력을 왜곡할 목적으로 의도적으로 잘못된 레이블을 붙일 위험이 있습니다. 일부 잘못된 레이블링은 단지 인간의 판단에서 비롯되기도 합니다. 예를 들어 표범을 고양이로 볼 것인지, 고양이 조각상도 고양이로 간주할 것인지 판단하는 경우입니다. 강화 학습에서는 게임에서 ‘틀린’ 답이나 수에 긍정적인 보상을 주면, 의도적으로 오답을 내거나 항상 패배하는 시스템이 만들어질 가능성이 있습니다.

어떤 사람들에게는 그것이 매력적인 선택지일 수도 있습니다.

이제 이것이 ChatGPT와 같은 대화형 AI(생성형 AI)에 영향을 미친다는 점은 분명합니다. ChatGPT는 자사 사이트에 따르면, “모델의 성능을 개선하기 위해 인간 트레이너를 활용한” ‘지도 학습과 강화 학습’을 통해 미세 조정되었습니다. 응답의 순위를 매기기 위해 ‘좋아요’ 또는 ‘싫어요’를 선택하면, 해당 데이터가 모델을 추가로 미세 조정하는 데 사용될 수 있습니다. 독자 여러분도 인간일 테니, 결과적으로 시스템의 편향이 더욱 심해질 가능성이 존재합니다. 실제로 ChatGPT는 답변이 완전히 틀리는 경우가 많습니다. 더 자주 올바른 답변을 생성할 수 있도록 시스템을 추가로 학습시키려면 피드백이 필요합니다.

흥미로운 이야기입니다. 이러한 시스템을 조작할 수 있는 방법과 그에 따른 결과에 관해서도 흥미진진한 대화를 나눌 수 있겠지만, 제가 이 주제를 살펴보고자 한 진짜 이유는 편향 문제가 텔레메트리에도 영향을 미치기 때문입니다. 텔레메트리는 디지털 서비스를 제공하고 보호하는 시스템과 서비스의 자동화를 추진하는 데 우리 모두가 활용하고자 하는 운영 데이터입니다.

AI, 편향 및 텔레메트리

제가 이전에 데이터 편향이라는 주제가 텔레메트리와 어떤 관련이 있는지, 그리고 조직의 98%가 놓치고 있는 인사이트에 관해 쓴 글을 기억하실 수도 있습니다.

텔레메트리 분석과 관련된 대부분의 경우, 모델은 레이블이 지정된 데이터를 사용해 학습됩니다. 이러한 시스템에는 (a) 데이터에 잘못된 레이블을 지정하거나, (b) 특정 범주의 데이터가 충분히 다양하지 않거나, (c) 새로운 데이터를 도입하는 방식으로 인해 편향이 발생할 수 있습니다. 데이터에 잘못된 레이블을 지정하는 것이 문제가 되는 이유는 명백합니다. 그 양이 충분히 많으면 오인식으로 이어질 수 있기 때문입니다. 데이터 다양성이 부족할 경우, 이처럼 제한적인 학습 데이터 세트의 범위를 벗어나는 데이터는 필연적으로 잘못 분류됩니다.

이에 대한 대표적인 사례로, 전차와 다른 유형의 운송 수단을 구별하도록 학습된 AI 모델이 있습니다. 알고 보니 전차 사진은 모두 낮에 촬영된 반면, 다른 차량 사진은 그렇지 않았습니다. 그 결과 AI는 전차와 비전차를 매우 잘 구별하는 것처럼 보였지만, 실제로는 낮과 밤을 연관 짓고 있었습니다. 입력 데이터 세트의 다양성 부족으로 인해 편향된 상관관계가 형성된 것입니다.

운영 중인 AI가 강화 학습에 의존하더라도 데이터의 다양성이 부족하면 문제가 됩니다. 시스템이 이른바 ‘다음 수’를 결정하는 데 필요한 모든 ‘변수’를 갖추지 못하기 때문입니다.

AI가 다양한 데이터 세트나 필요한 모든 변수를 확보하지 못하는 이유는 짐작하셨겠지만 데이터 편향 때문입니다. 구체적으로는 분석을 위해 원격 측정 데이터 중 *일부*만 수집하는 선택적 모니터링으로 인해 발생하는 데이터 편향입니다. 예를 들어 DNS 성능이 사용자 경험에 미치는 영향은 잘 알려져 있습니다. 하지만 DNS의 원격 측정 데이터 없이 애플리케이션 성능을 분석하도록 모델을 학습시키면, DNS에 문제가 있더라도 성능에 아무런 이상이 없다고 판단할 수 있습니다. DNS가 앱의 엔드투엔드 성능과 어떤 식으로든 관련되어 있다는 사실을 전혀 알지 못하기 때문입니다. 성능 저하를 누군가에게 알리는 것이 “다음 조치”라면, 데이터 선택의 편향으로 인해 시스템은 제 역할을 하지 못하게 됩니다.

다음과 같이 말씀드려도 놀랍지 않으실 겁니다. 당사의 연례 연구에 따르면, 전체 조직의 절반 이상이 필요한 인사이트를 도출하는 데 있어 ‘데이터 누락’을 가장 큰 과제 중 하나로 꼽았습니다.

따라서 조직이 운영상의 의사결정에 AI를 적극 활용하려 하더라도 어려움이 따릅니다. 이러한 시스템을 학습시킬 다양한 데이터 세트가 없다면 편향이 개입될 가능성이 커집니다.

편향이 유입될 수 있는 세 번째 경로는 모델에 데이터를 입력하는 방식입니다. 운영 환경에서 가장 흔한 예는 합성 테스트 결과를 사용해 애플리케이션의 평균 성능을 산정한 다음, 그 결과로 생성된 모델을 사용해 실제 트래픽을 분석하는 것입니다. 합성 테스트 데이터세트를 구성하는 위치, 기기, 네트워크 혼잡도 등의 범위에 따라 실제 사용자에게는 전혀 문제가 없는 성능이 장애로 판정되거나, 그 반대의 상황이 발생할 수 있습니다.

디지털 트랜스포메이션의 위험

위험은 기술이 역량을 배가하고 조직이 디지털 비즈니스로 운영되는 데 필요한 규모와 효율성을 구현할 수 있다는 신뢰가 약화되는 것입니다. AI가 계속해서 ‘잘못된’ 답을 내놓거나 ‘잘못된’ 해결책을 제시한다면, 아무도 AI를 신뢰하지 않을 것이기 때문입니다.

이러한 이유로 풀스택 옵저버빌리티는 단순히 중요한 것을 넘어, 조직이 6가지 핵심 기술 역량을 갖추고 디지털 트랜스포메이션의 세 번째 단계인 AI 지원 비즈니스로 발전하는 데 필요한 요소 중 하나입니다.

선택적 모니터링이나 특정 관점에 따른 메트릭 선별로 인해 데이터가 누락되면 운영 의사 결정에 사용되는 AI 모델에 편향이 생길 수 있습니다.

데이터의 출처와 유형을 세심하게 살피고 포괄적인 데이터 및 옵저버빌리티 전략을 병행하면 편향을 제거하고 더욱 정확하면서도 신뢰할 수 있는 결과를 도출하는 데 큰 도움이 됩니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물