이제 추론이 운영의 중심축입니다

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

2026년 애플리케이션 전략 현황 보고서에서 얻은 인사이트

지난 수년간 우리는 AI를 실제 시스템에 부수적으로 딸린 요소로 여길 수 있는 여유가 있었습니다. AI는 파일럿 프로젝트와 개념 증명, 실패해도 별다른 여파가 없는 세심하게 통제된 실험 환경에 머물렀습니다. 추론이 간헐적으로 이루어지고 핵심 애플리케이션 흐름과 분리되어 있던 때에는 이러한 관점이 타당했습니다.

이제는 더 이상 그렇지 않습니다.

추론이 본격적으로 요청 처리 경로에 들어오면서 모든 것이 달라졌습니다. 이제 추론은 다른 프로덕션 워크로드와 마찬가지로 작동하며, 지연 시간, 가용성, 확장성, 보안에 대해서도 동일한 수준의 요구 사항을 충족해야 합니다. 데이터도 이를 뒷받침합니다. 이미 약 4분의 3에 달하는 조직이 AI 기반 애플리케이션을 운영하고 있으며, 80% 이상은 가까운 시일 내에 자사 포트폴리오 전반에 AI가 내장될 것으로 예상합니다. 그렇게 되면 AI는 더 이상 선택 사항이 아닙니다. 시스템의 일부가 됩니다.

옵저버빌리티는 사후 분석에서 입력 요소로 전환되었습니다

이러한 전환을 가장 분명하게 보여주는 지표 중 하나는 옵저버빌리티의 변화입니다. 과거에는 진단 도구로 활용되었습니다. 텔레메트리 데이터를 수집하고 분석하여 이미 발생한 일을 파악하는 데 사용했습니다.

당사의 2026년 애플리케이션 전략 현황 보고서에 따르면, 그 역할은 달라졌으며 관측 가능성 데이터 활용에 관한 수치가 이를 명확히 보여줍니다.

• 알림 기능 사용률은 2023년 41%에서 2026년 96%로 급증했습니다.
• 운영 데이터를 기반으로 한 자동화 비율은 51%에서 97%로 증가했습니다.
• 인사이트 활용률은 33%에서 97%로 증가했습니다.
• 근본 원인 분석은 47%에서 95%로 증가했습니다.
• SLO 및 SLI 보고율이 41%에서 96%로 증가했습니다.

이는 점진적인 개선이 아닙니다. 거의 모든 곳에서 도입되었으며, 더 중요한 것은 거의 모든 곳에서 이에 의존하고 있다는 뜻입니다.

옵저버빌리티는 더 이상 시스템 상태를 보고하는 데 그치지 않고 시스템에 데이터를 공급합니다. 이제 운영 데이터는 런타임 의사결정을 주도하며, 자동화를 구체화하고 라우팅에 영향을 미치며 정책 집행의 근거가 됩니다. 추론 중심 아키텍처에서 이는 있으면 좋은 기능이 아니라 필수 요건입니다.

운영 부담은 추론에 집중됩니다

시스템이 실제로 어디에서 중요한 역할을 하는지 이해하려면 운영상의 압력이 집중되는 지점을 살펴보세요. AI 아키텍처에서는 이러한 압력이 추론을 둘러싼 계층에 집중됩니다.

운영 관점에서 응답자들은 다음을 지목했습니다:

• 프롬프트 계층: 29%
• 토큰 및 제어 계층: 23%
• 모델 라우팅: 17%
• 출력 검토: 14%

보안 전문가들도 거의 동일한 우선순위를 꼽았습니다:

• 프롬프트 계층: 25%
• 토큰 및 제어 계층: 23%
• 출력 조정: 19%
• 모델 라우팅: 17%

이러한 인식의 일치는 중요합니다. 운영팀과 보안팀 모두 핵심 작업이 추론 시점에 이루어진다는 동일한 사실을 인식하고 있음을 보여주기 때문입니다.

바로 이 지점에서 지연 시간이 체감되고 비용이 누적되며 위험을 관리해야 합니다. 학습 파이프라인과 데이터 준비도 여전히 중요하지만, 매 순간의 운영에 미치는 부담은 그만큼 크지 않습니다. 시스템은 추론 시점에 정확하고 신속하게 응답하거나, 그렇지 못합니다.

이 맥락에서 추론은 수명 주기의 한 단계가 아닙니다. 추론 자체가 워크로드입니다.

자동화는 이미 AI를 둘러싸고 있습니다

성숙도를 보여주는 또 다른 지표는 워크로드를 제어하는 방식입니다. AI의 경우 이러한 제어는 대부분 프로그래밍 방식으로 이루어집니다.

자동화 가속, 정책 조정, 제안 생성 등의 사용 사례 전반에서 API 기반 자동화가 일관되게 가장 선호되는 접근 방식으로 꼽힙니다. 현재 AI를 자동화에 사용하지 않는 응답자들조차 API 기반 방식을 선호합니다.

이러한 일관성은 해당 시스템이 사람의 개입을 최소화한 채 작동할 것이라는 기대를 반영합니다. 이 시스템은 실시간으로 행동하고, 반응하며, 적응하도록 설계되었습니다. 추론은 이러한 자동화 루프에 통합되는 순간 실제 운영에 적용됩니다.

우리는 이미 그 문턱을 넘어섰습니다.

멀티 모델 현실이 이러한 전환을 더욱 가속화합니다

여기에 더해, 조직들이 단일 모델만 운영하지 않는다는 점도 고려해야 합니다. 이제 여러 모델(대개 5~7개)을 병렬로 운영하는 것이 일반적입니다. 대부분의 적응 기법은 여전히 프롬프트 엔지니어링, 검색 증강 생성, 임베딩 또는 제한적인 튜닝에 의존하는 경량 방식입니다.

이로 인해 주어진 요청에 적합한 모델 선택, 대체 로직 구현, 버전 관리, 비용과 성능 간의 균형 조정, 이기종 엔드포인트 전반에 걸친 정책 적용 등 익숙한 운영상의 과제가 발생합니다.

이 단계에 이르면 시스템은 다른 분산 애플리케이션과 유사한 형태를 띠기 시작합니다. 여기에는 라우팅, 오케스트레이션, 거버넌스가 필요합니다. 추론은 단순히 호출하는 기능이 아니라 제공하고 관리하며 보호해야 하는 대상이 됩니다.

추론이 중심축으로 자리 잡았습니다

종합해 보면, 그 흐름은 분명합니다.

1. 추론은 요청 처리 경로에 직접 포함됩니다.
2. 옵저버빌리티는 실시간 컨텍스트를 제공합니다.
3. 자동화는 API를 통해 동작을 제어합니다.
4. 다중 모델 아키텍처에서는 라우팅 및 제어의 필요성이 더욱 커집니다.

이러한 조합으로 인해 추론은 운영의 중심축으로 자리 잡습니다. 이는 미래에 대한 전망이 아니라 현재 이미 존재하는 상황입니다.

업계에서는 여전히 AI의 운영 적용이 앞으로의 과제인 것처럼 이야기합니다. 하지만 데이터는 그렇지 않음을 보여줍니다. 조직들은 이미 일상적인 운영에 추론을 통합했으며, 이를 애플리케이션 스택의 다른 핵심 구성 요소와 마찬가지로 중요하게 다루고 있습니다.

진짜 중요한 질문은 AI가 운영 단계에 들어설 것인지가 아닙니다. 조직이 AI가 이미 운영되고 있다는 사실을 인식하고 있는지, 그리고 그동안 운영해 온 다른 모든 요소에 적용해 온 것과 동일한 수준의 규율과 엄격함, 아키텍처적 사고를 추론에도 적용하고 있는지가 핵심입니다.

자세한 내용은 2026년 애플리케이션 전략 현황 보고서 전문에서 확인하세요.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물