새로운 봇 전쟁: 당신이 아는 모든 사람이 가짜일지도 모른다

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

봇 농장은 한때 우스갯거리였다. 스팸 계정 수천 개에 어설픈 영어, 조잡한 참여 유도 수법이 전부였다. 쉽게 알아볼 수 있었고, 대수롭지 않게 넘기기도 쉬웠다.

이제는 아닙니다.

오늘날 봇 팜은 산업적 규모로 운영되며, 수천 대의 실제 스마트폰을 동원해 실제 사용자처럼 행동하는 자동화 계정을 가동합니다. 이들은 플랫폼의 참여 유도 알고리즘이 작동할 만큼만 ‘좋아요’를 누르고, 공유하고, 댓글을 답니다.

해킹이 아닙니다. 시스템을 설계된 그대로 이용하되, 더 빠르고 대규모로, 그리고 시스템이 전제로 삼았던 진정성 없이 사용하는 것입니다.

게시물이 일단 주목받기 시작하면 X와 Meta 같은 플랫폼은 이를 더욱 확산시킵니다. 이들이 증폭시키는 것은 정확성이 아니라 참여도입니다. X의 2023년 투명성 보고서는 이를 분명히 보여줍니다. 반응을 끌어내는 콘텐츠가 더 많이 노출됩니다. 머신러닝 기반 탐지 시스템이 마련되어 있어도 AI 기반 봇은 일반 사용자의 자연스러운 트래픽에 완벽하게 섞여 듭니다.

그다음부터는 실제 사용자들이 이를 확산시킵니다. 많이 노출될수록 정당성이 있는 것처럼 인식됩니다. 무언가가 인기를 끄는 것처럼 보이면 신뢰할 만하다고 느끼게 됩니다.

가짜 참여는 착각을 만들어냅니다. 실제 사람들이 불길을 키웁니다. 그리고 AI는 그 불길의 출처를 그 어느 때보다 추적하기 어렵게 만듭니다.

AI의 영향

과거에는 봇 농장에서 수많은 인력이 반복적인 게시물을 올려야 했지만, 이제는 AI 도구로 일관성 있고 다양하며 매우 그럴듯한 콘텐츠를 생성할 수 있습니다. NewsGuard의 2023년 보고서에 따르면, AI가 생성한 선전물은 지역별 특유의 언어와 감정 표현까지 구현해 실제 의견과 점점 더 구별하기 어려워지고 있습니다.

이제는 더 이상 저질 콘텐츠가 아닙니다. 그럴듯하고, 맥락에 맞으며, 상황에 즉각 반응합니다. 자발적인 대중의 지지처럼 보이지만, 실제로는 산업적 규모로 만들어진 영향력입니다.

그리고 플랫폼은 여전히 이런 콘텐츠에 보상을 제공합니다. 플랫폼은 무엇이 진짜인지 판단하는 것이 아니라, 성과가 좋은 콘텐츠를 확산하도록 설계되었기 때문입니다.

콘텐츠 검토 도구와 인력만으로는 이러한 변화의 속도를 따라잡지 못하고 있습니다. 조직적 비진정 행위에 대한 조치를 다룬 Meta의 2024년 보고서는 이처럼 조직적으로 이루어지는 캠페인을 실시간으로 탐지하는 일이 얼마나 어려워졌는지를 여실히 보여줍니다.

이는 일부에 국한된 문제가 아닙니다. 정치, 마케팅, 금융 투기, 심지어 브랜드 신뢰에도 영향을 미칩니다. 2021년에는 미국 증권거래위원회가 소셜 미디어를 통해 조장되는 시세 급등을 경고했습니다 이러한 시세 급등은 봇에 의해 촉발되었습니다.

한편, 노출도와 참여도에 의존하는 시스템(인기 목록, ‘추천 콘텐츠’ 패널)은 이제 손쉽게 조작될 수 있습니다. 중요한 것을 부각하도록 설계된 도구가 이제는 누군가 돈을 내고 중요해 보이게 만든 것을 부각합니다.

오늘날의 봇은 규칙을 어기지 않습니다. 오히려 규칙을 따릅니다. 인간의 행동을 모방하고 대화를 만들어 냅니다. 시간이 지나면서 신뢰를 쌓고 여러 네트워크에 걸쳐 활동합니다. 기술 정책을 위반하지 않기 때문에 탐지되지 않는 경우가 많습니다.

이는 더 근본적인 결함을 드러냅니다. 시스템은 동기가 아니라 행동을 평가하도록 설계되었습니다. 우리는 패턴을 신뢰했습니다. 정상적으로 보이면 안전하다고 간주했습니다.

하지만 AI는 비정상적으로 행동하지 않습니다. 그럴듯하게 행동합니다.

AI는 신호를 더 상위 계층으로 이동시킨다

신호는 스택의 상위 계층으로 이동했습니다. 헤더와 전송률을 벗어나 페이로드, 콘텐츠의 의미, 시스템 수준의 조정으로 옮겨간 것입니다. AI가 생성한 영향력은 기존 방어 체계로는 정상적으로 보입니다. 이제 이상 징후는 봉투가 아니라 메시지 안에 있습니다.

이 문제를 해결하기 위한 노력이 진행 중입니다. DARPA의 시맨틱 포렌식 프로그램은 의도와 언어적 표지를 활용해 AI 생성 콘텐츠를 탐지하는 기술을 개발하고 있습니다. X의 2024년 업데이트에서는 봇 제거 활동을 강화했다고 언급했습니다. 하지만 이러한 시스템은 아직 초기 단계에 머물러 있습니다. 관련 도구는 AI 기반 영향력 공작보다 앞서 나갈 만큼 확장성과 대응력을 아직 갖추지 못했습니다.

그리고 이제 위협은 또다시 진화하고 있습니다.

단순한 봇을 넘어, AI 기반 에이전트가 투입되고 있습니다. 이러한 에이전트는 단순히 자동화하는 데 그치지 않습니다. 서로 협력하고, 상황에 따라 방향을 전환하며, 반응 데이터를 분석해 실시간으로 전술을 조정합니다. 2022년 DFRLab 연구에서는 국가의 지원을 받는 캠페인이 AI 에이전트를 활용해 여러 플랫폼에서 허위 정보를 조직적으로 유포하고, 탐지 상황에 맞춰 역동적으로 대응한 사례를 기록했습니다.

한편, 합법적인 기업들은 고객 지원, 마케팅, 워크플로 자동화를 위해 에이전트를 도입하고 있습니다. Lyzr.ai에 따르면 AI 도입 노력의 70%는 단순한 대화형 봇이 아니라 행동 기반 AI 에이전트에 집중되어 있습니다.

이로 인해 경계가 모호해집니다. 에이전트가 기업과 공격자 양쪽을 대변하게 되면 신뢰가 무너집니다. 브랜드 담당자를 사칭하는 가짜 고객 지원 봇은 사용자를 피싱하거나 허위 정보를 퍼뜨릴 수 있으며, 무엇을 확인해야 하는지 모르면 진짜와 구별하기 어렵습니다.

이제 이는 봇의 문제가 아닙니다. 진위 여부에 대한 신뢰의 위기입니다.

AI의 진화가 기존의 가정에 도전하다

첨단 AI 도구와 조직적으로 움직이는 에이전트가 주도하는 새로운 봇 전쟁은 판도를 바꿔 놓았습니다. 우리가 막아내려는 것은 단순한 잡음이 아닙니다. 인간처럼 보이도록 정교하게 만들어지고, 시스템을 조작할 수 있도록 대규모로 확장되며, 탐지되지 않도록 최적화된 인위적 신뢰성을 방어하고 있습니다.

인프라에서 벗어나 알고리즘, 의미 체계, 그리고 인식된 정당성을 악용하는 방향으로 전환되면서, 보안과 확장성을 둘러싸고 우리가 세워 온 근본적인 전제들이 무너지고 있습니다.

이 문제를 해결하려면 근본적인 토대부터 다시 생각해야 합니다. 규칙을 집행하도록 설계된 도구는 더 광범위한 의도 체계의 일부로서 행동, 언어, 조직적인 패턴을 해석할 수 있도록 진화해야 합니다.

그때까지는 의심을 기본 전제로 삼아야 하며, 신뢰를 회복하려면 탐지만으로는 부족합니다.

우리가 매일 의존하는 시스템에 무결성을 다시 세우고, 그들의 수법이 기업 내부로 스며들어 합성된 영향력이 의사결정을 은밀히 왜곡하고 자동화 시스템을 장악하며 사용자 신뢰를 내부에서부터 무너뜨리는 일을 막으려면 플랫폼, 기업, 연구자 간의 적극적인 협력이 필요합니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물