설명 가능성: AI 블랙박스의 내부를 밝히다

F5 ADSP | 2025년 9월 03일

생성형 AI를 통해 이제 우리는 답변이 어떻게 생성되어 우리에게 전달되는지 잘 이해하고 있습니다. 간단히 말해, AI는 트랜스포머 아키텍처로, 다음에 올 단어와 문장을 가장 잘 예측해 선택하고 학습한 정보를 바탕으로 가장 가능성 높은 답변을 제공합니다.

하지만 애플리케이션이나 프로세스가 AI 또는 AI 에이전트를 사용해 작업을 수행할 때(예: 지원자의 이력서 선별), 조직은 당연히 해당 결정이 내려진 이유와 그 결정이 어떻게 이루어졌는지 알고 싶어 합니다. 최악의 경우, 그 과정에 문제가 있다면 결과가 더 이상 유용하지 않을 수 있기 때문입니다.

이것이 바로 AI에서 흔히 말하는 ‘블랙박스’로, 애플리케이션이나 에이전트가 주어진 기준에 따라 작업을 어떻게 완료했는지 명확히 알 수 없는 상태를 뜻합니다. 신경망 시대로 거슬러 올라가는 생성형 AI 이전에는 설명 가능성을 선형 차트로 나타내어, 정보의 어떤 부분이 의사 결정에 가장 큰 영향을 미쳤는지 보여주었습니다.

생성형 AI, 특히 에이전트의 경우에는 이 모든 것이 훨씬 더 복잡해집니다. 단순한 에이전트는 기반 AI 모델에 해당하는 두뇌와 수행해야 할 작업에 해당하는 목적, 그리고 그 목적을 달성하기 위해 상호 작용할 수 있는 도구를 갖습니다.

AI 에이전트에게는 도덕적 나침반도, 평생에 걸쳐 옳고 그름을 배운 경험도 없습니다. 또한 자신의 행동이 현실 세계에 어떤 결과를 초래하는지도 이해하지 못합니다. 특히 자율성을 장려하려는 경우라면, 에이전트가 원하는 방식대로 행동할 것이라고 보장할 수 없습니다.

예를 들어, 어떤 조직이 에이전트에게 고객 목록에서 Random Company LLC라는 회사명을 삭제하라고 지시할 수 있습니다. 에이전트는 ‘완료했습니다. Random Company LLC는 더 이상 데이터베이스에 없습니다’라고 응답할 수 있지만, 실제로는 ‘R’로 시작하는 모든 고객명을 삭제했을 수도 있습니다. 기술적으로는 작업을 완수했지만, 그 ‘방식’은 심각한 결과를 초래합니다.

에이전틱 핑거프린트: AI 에이전트를 위한 설명 가능성

에이전트가 작업을 어떻게 수행하는지 이해하려면, 사후에 에이전트가 했던 모든 생각과 상호작용, 그리고 내린 모든 결정과 취한 모든 행동을 파악해야 합니다. 투명성이나 설명 가능성을 확보하려면 에이전트 시스템이 제시한 답변이나 결과를 세분화하여 각 부분이 어떤 범주에 속하는지 확인할 수 있어야 합니다.

이러한 정보를 알면 에이전트가 시도한 것 중 무엇이 실패했고 무엇이 성공했는지 파악할 수 있습니다. 하지만 성공했다고 해서 반드시 올바른 것은 아닙니다. 위의 예처럼 에이전트가 목적을 달성했더라도 그 방식이 부정적일 수 있습니다.

이를 실현하기 위해 CalypsoAI의 Inference Red-Team 제품에서 자율형 에이전트가 내리는 모든 결정과 입력하는 모든 프롬프트, 그리고 방향 전환을 전방위적으로 파악할 수 있는 Agentic Fingerprints를 개발했습니다.

Agentic Fingerprints의 첫 단계는 에이전트가 수행하는 모든 작업을 기록하는 것입니다. 에이전트가 도구를 사용해 무엇을 하는지는 매우 쉽게 파악할 수 있지만, 문제는 자기 주도형 사고 과정 모델의 모든 반복 단계를 거치며 에이전트가 무엇을 생각하는지, 그리고 궁극적으로 어떻게 옳다고 판단한 결론에 도달하는지를 파악하는 데 있습니다.

Agentic Fingerprints는 이러한 모든 사고의 연쇄를 분석하고 에이전트의 활동을 시간순으로 빠짐없이 기록합니다. 이를 통해 사고가 어느 지점에서 행동으로 이어지는지, 또는 새로운 질문으로 분기되는지 확인할 수 있습니다.

이는 에이전트가 결과에 도달하기까지 거친 모든 사고와 의사 결정을 위에서 아래로 펼쳐지는 노드 그래프인 의사 결정 트리 형식으로 나타냅니다. 에이전트가 작업을 성공적으로 완료하기 위해 어떤 경로를 택했는지 명확히 알 수 있습니다. 그 밖의 모든 경로는 정의상 성공하지 못한 길, 즉 에이전트가 들어섰던 막다른 길이며, 우리는 그로부터 교훈을 얻을 수 있습니다.

AI 에이전트의 사고 과정을 보여주는 의사결정 트리로, 노드는 의사결정을 나타내고 가지는 최종 결과에 도달하기까지 거친 다양한 경로를 보여주어 AI의 설명 가능성을 시각화합니다.

Agentic Fingerprints는 업계 최초로 조직에 설명 가능성을 제공하여, 레드팀 에이전트가 무엇을 어떻게 수행했는지 빠르고 쉽게 파악할 수 있도록 합니다.

결과 분석: AI 설명 가능성의 발전

생성형 AI나 에이전트형 워크플로를 실생활에 적용할 때, 요청 수행을 거부하는 결과가 나온다면 그 이유를 확인할 수 있어야 합니다. 지금까지 너무 오랫동안 생성형 AI가 의사 결정을 내릴 때 우리는 그 결과를 단순히 긍정 또는 부정으로만 확인할 수 있었습니다.

CalypsoAI 역시 그런 문제에서 자유롭지 못했습니다. 우리는 특정 시스템의 구성에 따라 악성 트래픽을 차단하는 업계 최고 수준의 보안 스캐너를 기업에 제공했지만, 그 결과는 ‘예’ 또는 ‘아니요’로만 제시되었습니다.

새로운 기술의 초기 단계에서는 그래도 괜찮습니다. 하지만 AI가 실제 환경의 프로덕션에 점점 더 많이 활용되는 만큼, 단순히 ‘컴퓨터가 안 된다고 합니다’라고만 말해서는 안 됩니다. 우리 고객과 그 고객들은 충분한 설명을 들을 자격이 있습니다.

법적인 이유로 ‘안 된다’는 것일 수도 있고, 사용자가 이용 중인 서비스 요금제에서 특정 항목에 접근할 권한이 없어 ‘안 된다’는 것일 수도 있습니다. 이유가 무엇이든 사용자는 왜 그런지 이해할 수 있어야 합니다. 그저 ‘안 된다’고만 해서는 안 됩니다.

CalypsoAI의 Inference Defend 제품에서 Outcome Analysis는 이제 엔터프라이즈 AI 시스템의 일부로 구축된 보안 검사 제어 기능에 의해 무언가가 차단된 이유를 알려줍니다. 제공된 콘텐츠를 바탕으로 이해하기 쉬운 분석 정보와 특정 규칙을 작동시킨 구체적인 부분을 보여줍니다.

AI 시스템은 내부를 들여다볼 수 없는 블랙박스와 같지만, Outcome Analysis는 그 닫힌 뚜껑을 열어 내부를 투명하게 보여줍니다. 이제 기업은 Inference Defend 스캐너가 특정 콘텐츠나 데이터를 차단한 이유와 당시의 상황, 그리고 차단 근거를 명확히 파악할 수 있습니다.

당사의 고객들은 각자의 고객에게 서비스를 제공하고 있으며, 그 과정에서 질문을 받게 됩니다. 이에 당사는 고객들이 각자의 고객으로부터 받은 질문에 스스로 답변할 수 있는 기능을 제공합니다.

기업의 AI 도입에서 설명 가능성이 중요한 이유

보안 분야에서 우리의 책임은 튀는 것이 아닙니다. 보안은 전면에서 묘기를 부리는 것이 아니라, 뒤에서 모든 것을 안전하게 지켜야 합니다. 따라서 CalypsoAI가 출시하는 기능은 무대 앞에서 활약하는 이들, 즉 헤드라인을 장식할 만한 AI 기술을 개발하고 활용하는 모델 개발자와 조직을 지원하는 데 꼭 필요한 것들입니다.

투명성과 설명 가능성은 결코 무대 앞에서 펼쳐지는 저글링 공연처럼 주목받지는 않겠지만, 반드시 필요하며 당연히 갖춰져야 한다고까지 말할 수 있습니다. CalypsoAI의 설명 가능성 기능은 기업이 AI, 특히 에이전트를 안심하고 도입하려면 반드시 존재해야 하는 기능처럼 느껴집니다.

기업이 에이전트가 어떤 방식으로, 왜 그러한 결정을 내렸는지 이해할 수 있다면, 문제가 발생하더라도 충분한 정보를 바탕으로 신속하게 시정 조치를 취할 수 있습니다. 이는 에이전트형 워크플로에 매우 중요한 요소입니다.

CalypsoAI의 투명성 기능을 통해 에이전트가 실제로 작업을 수행하고 있다는 사실과 작업 방식, 의사 결정의 이유를 보여줄 수 있습니다. 이를 구체적으로 확인할 수 있으며, 조직이 가상 세계에서 기계의 속도로 일어나는 일을 시각적으로 이해할 수 있게 된 것은 이번이 처음입니다.