경영진이 AI에 대해 흔히 갖는 네 가지 오해

Kunal Anand최고제품책임자 | F5

당사의 「2026년 애플리케이션 전략 현황 보고서」에 따르면, 현재 조직의 78%가 평균 7개의 모델에서 AI 추론을 직접 실행하고 있습니다. 1년 전 당사의 AI 준비도 지수에서는 대규모로 AI를 운영할 준비가 실질적으로 된 조직의 비율이 2%에 불과했습니다.

이 두 수치의 격차는 현재 엔터프라이즈 기술 분야에서 가장 흥미로운 대목입니다. 기업들은 준비가 될 때까지 기다리지 않았습니다. 데이터와 비용, 보안을 직접 통제하기 위해 추론을 내부 환경으로 가져왔습니다. 그리고 이제 그러한 통제에 무엇이 필요한지 깨닫고 있습니다. 이를 ‘추론 경로’라고 부를 수 있습니다. 사용자의 의도에서 모델의 출력에 이르기까지 일어나는 모든 과정, 즉 검색, 라우팅, 도구 호출, ID 확인, 컨텍스트 구성, 정책 적용, 그리고 결과가 돌아오는 과정까지 모두 포함합니다. 모델은 이 경로를 구성하는 하나의 요소입니다. 경로 자체가 곧 시스템이며, 바로 이 부분을 기업이 직접 책임져야 합니다.

제가 반복해서 마주치는 네 가지 오해는 모두 같은 실수에서 비롯된 변형입니다. 바로 모델은 제품으로, 경로는 단순한 기반 설비로 여기는 것입니다.

오해 #1: "모델이 전부다."

어떤 모델, 어떤 공급업체, 어떤 사용 사례를 우선시해야 할까요? 거의 모든 경영진과의 대화에서 가장 먼저 나오는 질문이지만, 가장 오래가지 못하는 질문이기도 합니다.

모델은 교체 가능한 구성 요소입니다. 퍼블릭 AI 서비스에만 의존하는 조직은 8%에 불과합니다. 나머지 조직은 비용, 정확도, 보안을 기준으로 모델을 교체하고, 요청을 적절한 모델로 라우팅하며, 필요할 경우 대체 모델로 전환할 것을 전제로 다양한 모델 포트폴리오를 운영하고 있습니다. 아키텍처상 모델 교체가 단순한 설정 변경이 아니라 하나의 프로젝트가 된다면, 이미 잘못된 선택을 한 것입니다.

교체되지 않는 것은 추론 경로입니다. 모델에 어떤 컨텍스트를 제공할지 결정하는 검색 계층, 어떤 요청을 어떤 모델이 처리할지 정하는 라우팅 로직, 호출과 함께 전달되는 ID, 모델이 답변을 어떻게 활용할 수 있는지 결정하는 정책이 여기에 해당합니다. 바로 이 경로에서 정확도가 나오고 비용이 결정되며, 기업 고유의 경쟁 우위가 형성됩니다. 경쟁사는 내일이라도 같은 모델을 구매할 수 있지만, 귀사의 경로는 구매할 수 없습니다.

오해 #2: “파일럿이 성공했다면 프로덕션 전환도 쉬울 것이다.”

실패의 원인은 프로덕션 환경이 더 어렵다는 데 있지 않습니다. 프로덕션 환경이 복잡하고, 경로가 길어질수록 복잡성이 가중된다는 데 있습니다. F5의 조사에 따르면 대다수 기업(93%)이 여러 클라우드에서 운영되고 있으며, 86%는 하이브리드 멀티클라우드 환경에 애플리케이션을 분산 배치하고 있습니다. 추론 경로는 이 모든 환경을 거치며, 그 복잡성은 계속 커집니다. 조직이 더 많은 모델, 애플리케이션, 에이전트를 추가할수록 가능한 추론 경로의 수는 기하급수적으로 늘어납니다.

또한 조사 결과, 조직의 52%가 이미 여러 모델을 연계하거나 오케스트레이션하고 있는 것으로 나타났습니다. 하나의 체인에서 각 단계의 신뢰도가 95%라고 가정해 보겠습니다. 검색, 도구 호출, 확률적 모델이 관련된 작업이라는 점을 고려하면 상당히 후한 가정입니다. 3단계 파일럿 체인의 성공률은 86%입니다. 반면 20단계 프로덕션 체인의 성공률은 36%에 불과합니다. 단계별 신뢰도는 전혀 달라지지 않았습니다. 단계를 추가했다는 이유만으로 시스템은 대체로 잘 작동하는 상태에서 대부분 제대로 작동하지 않는 상태로 바뀌었습니다.

이제 동일한 계산법을 보안에 적용해 보겠습니다. 체인에 속한 각 에이전트가 조작되거나, 잘못된 범위로 설정되거나, 가져서는 안 될 자격 증명을 부여받을 확률이 5%라면, 20개 에이전트로 구성된 워크플로에서는 공격자가 악용 가능한 연결 고리를 하나 이상 발견할 가능성이 매우 높습니다. 에이전틱 AI가 프로덕션 수준에 도달하면 응답자 10명 중 9명 이상이 자격 증명 처리, 작업 감사, 그리고 에이전트가 누구의 권한으로 무엇을 했는지에 대한 근본적인 문제 등 새로운 유형의 문제가 발생한다고 답한 이유가 바로 여기에 있습니다.

오해 #3: "성능, 보안, 거버넌스는 서로 별개의 우선순위다."

전통적인 애플리케이션 아키텍처에서는 이러한 분리가 타당했습니다. 보안은 별도의 병행 업무로 진행되었고, 거버넌스는 분기별로 이루어졌습니다. 성능은 별도의 예산을 가진 다른 팀의 소관이었습니다.

AI는 이 세 가지를 밀리초와 토큰 단위로 측정되는 하나의 예산으로 통합합니다. 추론 경로에 가드레일을 추가할 때마다 지연 시간이 늘어납니다. 거버넌스 요구 사항이 추가될 때마다 컨텍스트 창을 차지하며, 이는 매 호출마다 비용으로 이어집니다. 프롬프트 검사, 출력 필터링, 개인 식별 정보(PII) 비식별화, 모델 라우팅, 재시도 로직은 각각 보안 통제 수단이자 성능 비용이며 예산 항목입니다. 어느 하나에 투자하려면 다른 항목의 예산을 써야 하고, 어느 하나를 줄이면 나머지가 위험에 노출됩니다.

이는 정말 새로운 현상입니다. 과거에는 보안 오버헤드가 눈에 띄지 않게 분산되어 반영됐습니다. 하지만 추론 경로에서는 p95 지연 시간과 비용 청구서에 그대로 드러납니다. 즉, 이제는 상충 관계가 명확해졌으며 누군가는 이에 대한 책임을 져야 합니다. 현재 가장 널리 적용된 통제 수단은 AI 서비스 및 API 액세스에 대한 인증으로, 조직의 55%가 사용하고 있습니다. 또한 47%는 에이전트를 위한 ID 인식형 인프라로 전환할 계획입니다. 둘 다 올바른 방향이지만, 추론 경로의 지연 시간도 늘립니다. 이를 위한 예산을 의도적으로 책정하지 않으면, 팀은 성능 목표를 달성하기 위해 아무도 모르게 이러한 통제 수단을 제거할 것입니다.

오해 #4: "포인트 솔루션은 복잡성을 가중하지만, 그래도 잘 활용할 수 있다."

데이터상 중간값에 해당하는 기업을 예로 들어보겠습니다. 이 기업은 7개의 모델을 사용하고 여러 클라우드에서 운영하며, 애플리케이션은 온프레미스, 퍼블릭 클라우드, 코로케이션 환경에 분산되어 있습니다. 여기에 API 보안용 도구, AI 게이트웨이 기능용 도구, 출력 거버넌스용 도구를 각각 별도로 추가한다고 가정해 보십시오. 이제 작성하는 모든 정책은 모든 환경과 모든 모델에 걸쳐 각 도구의 방식에 맞게 정확히 표현되어야 하며, 그중 하나라도 변경될 때마다 다시 검증해야 합니다. 정책이 눈에 띄지 않게 어긋날 수 있는 지점의 수는 이러한 변경 요소들이 곱해진 만큼 늘어납니다.

새벽 2시에 문제가 발생하면, "어떤 통제 수단이 이 문제를 감지했어야 하는가"라는 질문에 책임지고 답할 주체가 명확하지 않습니다. 해결책은 기능을 줄이는 것이 아닙니다. 반대편에 어떤 모델, 환경 또는 프로토콜이 있든 관계없이 경로상에 단일 정책 집행 지점을 두는 것입니다.

정책의 일관성과 모델 선택의 자유는 서로 상충하지 않습니다. 정책이 모델 통합 계층의 앞단이 아니라 그 내부에 있을 때만 충돌이 발생합니다. 애플리케이션 제공과 보안을 단일 플랫폼으로 통합하면 매주 모델을 변경하면서도 감사인의 질문에 한곳에서 답할 수 있습니다.

지금 물어볼 가치가 있는 질문들

조직이 추론 경로를 관리해 나가는 과정에서 리더십 팀이 고려해야 할 네 가지 질문은 다음과 같습니다:

1. 현재 프로덕션 환경에서 운영 중인 모델은 몇 개이며, 모델 하나를 추가하거나 교체하는 데 얼마나 걸립니까?
2. 현재 프로덕션 환경에서 실행 중인 에이전트 체인 중 가장 긴 것은 무엇이며, 측정된 엔드투엔드 성공률은 얼마입니까?
3. AI 정책은 어디에서 적용되며, 이를 업데이트하려면 서로 다른 몇 곳을 변경해야 하나요?
4. p95 추론 지연 시간 중 보안 및 거버넌스 오버헤드가 차지하는 비율은 얼마이며, 해당 수치의 책임자는 누구입니까?

이러한 질문에 명확한 답변 대신 추정치만 나온다면, 그것 역시 유용한 정보이며 사고가 발생했을 때보다 지금 파악하는 편이 훨씬 낫습니다. 모두에게 권하고 싶은 것은 이번 분기에 추론 경로를 감사하는 것입니다. 이 시대를 선도할 조직은 AI를 가장 많이 운영하는 조직이 아닙니다. AI가 실행되는 모든 곳에서 프롬프트 입력부터 응답 출력까지 정확히 어떤 일이 일어나는지 설명할 수 있는 조직이 될 것입니다.

데이터를 더 자세히 살펴보려면 2026년 애플리케이션 전략 현황 보고서를 다운로드하세요. F5가 애플리케이션 딜리버리 및 보안 플랫폼 전략을 엔터프라이즈 AI로 어떻게 확장하고 있는지 알아보려면 F5 AI Security Platform 웹페이지를 방문하세요. 또한 오늘 발표된 보도자료도 꼭 확인해 보세요.

작성자 소개

Kunal Anand최고제품책임자 | F5

Kunal Anand는 최고제품책임자(CPO)로서 F5의 제품 조직을 이끌고 있습니다. 제품 비전, 전략 및 실행을 총괄하며, 고객의 중대한 과제를 해결하고 탁월한 경험을 제공하는 혁신적인 솔루션의 개발을 주도합니다. 이전에는 최고기술·AI책임자로서 회사의 기술 및 AI 전략과 비전을 수립했습니다. F5에 합류하기 전에는 Imperva에서 최고기술책임자(CTO)와 최고정보보안책임자(CISO)를 겸임했습니다. Kunal은 2013년에 공동 창업한 애플리케이션 보안 스타트업 Prevoty가 2018년 Imperva에 인수되면서 Imperva에 합류했습니다. Prevoty 이전에는 BBC Worldwide에서 기술 담당 이사를 역임했습니다. Kunal은 혁신과 기술 분야에서 풍부한 경험과 전문성을 갖추고 있으며, Gravity, MySpace 및 NASA 제트추진연구소에서 보안, 데이터, 기술 및 엔지니어링 팀을 이끄는 직책을 맡았습니다. Kunal은 모델 학습, AI 기반 알고리즘을 활용한 제품 개선, AI 아키텍처 설계 및 구현 등 AI와 머신러닝 분야에서 15년 이상의 경험을 보유하고 있습니다. Kunal은 Babson College에서 컴퓨터 과학 학사 학위를 취득했습니다.

Kunal Anand의 다른 블로그 게시물