SecOps는 AI를 어떻게 바라볼까요? 과도한 자율성

Mark Toler제품 마케팅 매니저 | F5

2025년 하반기, AI는 의사결정 보조자에서 의사결정 주체로 전환되었으며, 보안 팀들은 이러한 자율성이 초래할 결과에 촉각을 곤두세우고 대비하고 있습니다. 적어도 인터넷 최대 사이버 보안 커뮤니티인 Reddit의 r/cybersecurity에서 상위 기여자 500명이 AI에 대해 어떻게 생각하는지를 종합적으로 조사한 최신 F5 AI 인식 연구 업데이트에서는 이러한 정서가 지배적인 것으로 나타났습니다.

지난 분석에서는, 섀도 AI에 대한 우려와 타사 AI 서비스의 데이터 보안이 실무자들의 주된 관심사였지만, 2025년 하반기에는 자사에 배포된 AI에 과도한 자율성과 접근 권한이 부여되는 문제로 우려의 초점이 옮겨갔습니다.

이러한 우려와 더불어, 이런 위험을 감수할 만큼 AI가 실제로 가치 있는 성과를 제공할 수 있을지에 대한 회의론도 빠르게 확산되고 있습니다. 실무자들이 전 세계에 ‘AI 열차’를 급정거시키자고 주장하는 것은 아닙니다. 하지만 자율형 에이전트가 등장하면서 전용 안전장치에 대한 요구는 그 어느 때보다 높아졌습니다.

F5의 감성 분석에 따르면, 이제 보안 전문가들이 가장 우려하는 문제는 ‘과도한 자율성’이며, Reddit의 r/cybersecurity 커뮤니티에서 이 문제에 대한 언급량은 2025년 상반기 대비 하반기에 1,300% 증가했습니다.

과도한 자율성이 섀도 AI를 제치고 최대 우려 사항으로 부상

F5의 감성 분석에 따르면 Reddit의 r/cybersecurity 커뮤니티에서 ‘과도한 자율성’에 대한 언급은 2025년 상반기 대비 하반기에 13배 증가해 보안 전문가들이 가장 많이 꼽은 우려 사항이 되었습니다. 이는 AI 시스템이 핵심 워크플로에서 더 큰 의사결정 자율성과 도구 접근 권한을 부여받고, 민감한 데이터에도 광범위하게 접근할 수 있게 된 시점과 맞물립니다. 과도한 자율성은 넓은 의미에서 AI 시스템이 의도된 범위나 감독을 벗어나 행동하는 것으로 정의되며, 자율형 AI 에이전트가 초래할 영향에 대한 선제적 불안뿐 아니라, 더 흔하게는 AI가 핵심 워크플로에 미치는 직간접적인 영향으로 나타났습니다.

의료, 금융 서비스 또는 기술 분야에서 흥미롭고 혁신적인 활용 사례가 등장할 때마다 최악의 상황이 초래할 수 있는 영향의 범위는 불균형적으로 확대됩니다. 한 실무자는 요약을 위해 AI 도구에 지나치게 의존하는 사례를 통해 이러한 점을 보여줍니다:

논의된 과도한 자율성의 가장 두드러진 사례는 지난 7월 Replit 코딩 에이전트가 코드 동결 기간에 고객 데이터베이스 전체를 삭제한 사건이었습니다. AI 보안 실패가 이 사례처럼 항상 요란하게 드러나는 것은 아닙니다. 흔히 미묘한 의미론적 신호에 그쳐 기존 LLM 상호작용에서도 완화하기 어렵지만, 가시성이 더 제한적인 에이전트형 워크플로에서는 훨씬 더 큰 과제가 됩니다.

F5의 AI 인식 조사에 따르면, 보안 전문가들이 우려하는 문제 중 ‘AI 슬롭’이 차지하는 비중은 2025년 상반기 대비 하반기에 두 배로 증가해, 제기된 전체 우려의 17%를 차지했습니다.

AI 슬롭은 보안 우려 사항입니다

2025년 하반기에는 AI의 현재, 단기 또는 장기적 가치에 대한 회의론이 만연했습니다. 정보 채널을 오염시키고 운영상의 잡음과 위험을 키우는 대량의 저품질 AI 생성 콘텐츠인 ‘AI 슬롭’에 대한 관심도는 2025년 하반기에 두 배로 증가했습니다. 이는 수준 미달의 AI 생성 코드, AI가 생성한 것으로 의심되는 콘텐츠에 대한 불신 증가, AI 의존으로 인한 사고력 저하와 같은 사회적 우려로 나타났습니다.

보안 실무자들은 AI 기반 애플리케이션과 기능이 입증 가능하고 반복적으로 재현되는 가치를 제공하기를 요구합니다. 이들이 AI 도입에 전적으로 반대하는 것은 아닙니다. 이들은 수년간 위협 탐지와 분류에 AI/ML을 활용해 왔으며, 전반적으로 높은 만족도를 보여 왔습니다. 또한 지나치게 장황한 AI 생성 코드는 취약점을 유발하고, 자신이 유지 관리하는 시스템을 완전히 이해하는 엔지니어의 수를 줄일 수 있다고 자주 지적합니다.

‘안전하지 않은 설계’로 정의되는 이 현상은 하반기 언급량이 3.1배 증가했습니다. 이처럼 피로감이 누적되면서 AI 기능을 내세운 제품은 과거에 완성도가 낮은 구현이 받았을 법한 수준보다 더 엄격한 검증을 받고 있습니다.

AI 레드팀 활동이 낙관론을 이끈다

과도한 약속에 비해 기대에 못 미치는 AI 도구가 넘쳐나는 상황에서도, AI 레드팀 전용 도구에 대한 언급은 2.71배 증가했으며, 그중 95% 이상이 이 관행을 새로운 필수 기반 요건으로 긍정적으로 평가했습니다. 한 실무자는 이를 다음과 같이 적절히 표현했습니다:

자체 AI 도구로 무장한 악의적 행위자들이 늘어나고 진입 장벽도 낮아짐에 따라, 방어 체계는 공격자들이 매일 새롭게 개발하는 고유한 프롬프트 인젝션 및 탈옥 기법에 발맞춰야 합니다.

이러한 군비 경쟁에 대응하기 위해 설계된 전용 레드팀 도구는 2025년 초만 해도 엇갈린 반응을 얻었으며, 대부분은 인간 중심의 공격 보안팀과 비교해 그 효과에 의문을 제기했습니다. 그러나 솔루션이 성숙하고 적대적 기법의 범위가 기존의 수동 테스트만으로 감당하기에는 지나치게 방대해지면서, 이러한 회의론은 하반기에 가장 큰 낙관 요인 중 하나로 바뀌었습니다.

F5가 최신 트렌드에 부합하는 방식

최근 인식 동향에서 가장 분명하게 드러나는 점은 모든 것이 매우 빠르게 변화하고 있다는 것입니다. 위험과 고충, 요구 사항 모두 빠르게 변하고 있습니다. AI 워크로드를 보호하는 것은 복잡한 작업이며, 필요한 요건은 조직마다 크게 다릅니다.

어떤 공급업체도 과도한 액세스와 자율적 권한의 모든 사례를 보호하는 데 필요한 미묘한 차이와 맥락을 기본 기능만으로 완벽하게 반영할 수는 없습니다. 하지만 F5 AI Guardrails를 사용하면 보안 팀은 AI 시스템에 가장 널리 퍼진 위협으로부터 즉시 보호받을 수 있으며, 맞춤형 가드레일을 생성해 고유한 요구 사항에 맞게 방어 체계를 신속하게 조정할 수 있습니다.

또한 AI 레드팀 활동은 더 이상 선택 사항이 아니라 AI 시스템 보안을 위한 필수 요건이라는 견해에 동의합니다. 13만 개 이상의 공격 패턴을 보유한 업계 최고 수준의 AI 취약점 데이터베이스를 기반으로 F5 AI Red Team은 공격자가 악용하기 전에 팀이 취약점을 찾아 해결할 수 있도록 지원합니다.

실무자 인식과 AI 위협에 관한 F5의 연구를 더 자세히 알아보고 싶으신가요? 웨비나 “발맞춰 진화하는 AI 보안”을 시청해 보세요.

또한 AI에 대한 보안 전문가들의 인식을 분석한 이전 블로그 게시물인 “SecOps는 AI를 어떻게 바라보는가” 1부와 2부도 읽어보세요.

작성자 소개

Mark Toler제품 마케팅 매니저 | F5

Mark Toler의 다른 블로그 게시물