AI 추론이 애플리케이션 제공 방식을 바꾸는 방법

업계 동향 | 2025년 11월 19일

애플리케이션 딜리버리는 언제나 성능, 가용성, 안정성이라는 세 가지 요소를 보장하는 데 중점을 두어 왔습니다. 이러한 원칙은 클라이언트-서버에서 웹, 클라우드에 이르기까지 여러 세대의 애플리케이션 아키텍처에서 성공의 기준이 되어 왔습니다. 하지만 인공지능, 특히 추론은 이러한 셈법을 바꿉니다.

현재 기업의 80%가 자체 추론 서버를 운영하고 있다고 답했습니다. 추론은 더 이상 실험 단계에 머물러 있지 않습니다. 실질적인 비즈니스 영향을 미치는 주류 워크로드로 자리 잡았습니다. 하지만 여전히 많은 조직이 추론 엔드포인트를 ‘그저 또 하나의 API’로 취급합니다. 이러한 가정은 위험합니다. 기존 API와 달리 추론 요청은 확률적이고, 많은 컴퓨팅 리소스를 필요로 하며, 컨텍스트에 민감합니다. 이를 기존 워크로드처럼 취급하면 애플리케이션 딜리버리의 핵심 목표가 위협받고, 조직은 새로운 유형의 운영 및 보안 위험에 노출됩니다.

오늘은 추론이 애플리케이션 딜리버리의 성능, 가용성, 안정성(PAR)이라는 세 가지 핵심 요소를 어떻게 재편하는지 살펴보고, 기업이 고려해야 할 알고리즘상의 차이점을 짚어보며, 상태 모니터링, 부하 분산, 트래픽 최적화, 보안과 같은 딜리버리 기술에 미치는 영향을 알아보겠습니다.

PAR 3요소: 애플리케이션 딜리버리의 기반

보안이 기밀성, 무결성, 가용성이라는 CIA 3요소를 기반으로 하는 것처럼, 애플리케이션 딜리버리 역시 성능, 가용성, 안정성이라는 고유한 3요소를 기반으로 합니다.

성능: 애플리케이션이 사용자 기대에 부응할 만큼 빠르게 응답합니까?
가용성: 애플리케이션이 과부하 상황에서도 접속 가능하며 유효한 결과를 반환합니까?
신뢰성: 애플리케이션이 시간이 지나도 일관되게 작동한다고 신뢰할 수 있습니까?

수십 년 동안 이 세 가지 요소는 결정론적 워크로드에 적용되어 왔습니다. 응답은 예측 가능했고, 정확성은 당연한 것으로 여겨졌으며, 비용은 안정적이었습니다. 하지만 추론 워크로드는 이러한 전제를 무너뜨립니다. 추론은 확률적이고 연산량이 가변적이므로 성능, 가용성, 신뢰성의 정의도 달라져야 합니다.

성능: 결정론적 방식에서 확률론적 방식으로

기존 시스템에서는 성능을 밀리초 단위로 측정했습니다. 동일한 요청은 거의 동일한 결과를 냈습니다. 하지만 추론은 다릅니다. 지연 시간은 모델 크기, 입력 복잡도, 배치 처리 전략, 생성 설정에 따라 달라집니다. 동일한 프롬프트 두 개조차 응답 시간이 서로 다를 수 있습니다.

기업의 경우 이는 성능을 평균 지연 시간뿐만 아니라 변동성과 효율성을 기준으로도 정의해야 한다는 의미입니다. 즉, 토큰이 얼마나 빠르게 생성되는지, 부하가 걸린 상황에서도 처리량이 얼마나 안정적으로 유지되는지, 비용을 얼마나 예측 가능하게 관리할 수 있는지를 고려해야 합니다.

가용성: 접근 가능성에는 정확성도 포함되어야 합니다

기존의 가용성은 이분법적이었습니다. 시스템이 정상 작동하거나 중단된 상태였습니다. 코드 실행은 결정론적이었기 때문에 정확성이 당연히 보장된다고 여겼습니다. 하지만 추론이 개입하면 가용성을 단순히 접속 가능 여부로만 판단할 수 없습니다. 모델이 온라인 상태이더라도 사용할 수 없을 정도로 느리거나, 컨텍스트가 포화되었거나, 틀린 답을 확신에 차서 내놓을 수 있습니다.

이제 가용성을 확보하려면 응답성뿐만 아니라 정확성도 필요합니다. 시스템은 단순히 답변을 반환하는지 여부뿐만 아니라, 그 답변이 적시에 제공되고 유효한지도 측정해야 합니다.

신뢰성: 일관성에서 의미적 일관성으로

과거에는 동일한 입력이 주어지면 시스템이 동일한 출력을 생성하는 것을 신뢰성이라고 여겼습니다. 하지만 추론 워크로드에서는 이러한 기대가 성립하지 않습니다. 변동성은 본질적으로 존재합니다. 모델 업데이트, 재학습, 확률적 생성은 모두 드리프트를 유발합니다. 토큰 기반 과금 모델은 예측 가능성을 더욱 떨어뜨립니다.

이제 신뢰성은 의미적 일관성을 기준으로 측정해야 합니다. 즉, 비결정성에도 불구하고 시스템이 시간이 지나도 허용 가능한 수준의 품질, 정확성, 예측 가능성을 갖춘 결과를 제공할 수 있는지를 평가해야 합니다.

알고리즘 및 커뮤니케이션의 차이

추론 워크로드는 웹 서버 및 애플리케이션 서버와 근본적으로 다릅니다:

배치 처리: GPU 효율을 높이기 위해 요청을 그룹화할 수 있으며, 이로 인해 선입선출(FIFO) 순서가 깨지고 지연 시간의 편차가 발생할 수 있습니다.
스트리밍: 응답은 토큰 단위로 전달되므로, 전송 시스템에서 부분 출력과 취소를 처리할 수 있어야 합니다.
샘플링 및 탐색 전략: 출력의 가변성은 온도, top-k 샘플링, 빔 탐색과 같은 알고리즘 선택에 따라 달라집니다.
라우팅: 모델 및 전문가 선택은 결정론적 시스템에서는 볼 수 없는 동적 동작을 한층 더합니다.

이러한 차이로 인해 추론의 성능과 의미 체계가 모두 달라지며, 기존의 전통적인 전송 제품은 이러한 변화를 처리하도록 설계되지 않았습니다.

보안에 미치는 영향

추론은 새로운 위험도 초래합니다. 당사의 연구에 따르면, 조직의 84%가 프롬프트 인젝션, 탈옥 또는 출력 조작을 테스트하거나 모니터링합니다. 절반 이상(56%)은 이미 게이트웨이나 미들웨어를 통해 추론 입출력을 검사하고 있습니다. 하지만 기업 5곳 중 1곳은 여전히 아무런 검사 없이 원시 프롬프트가 모델에 전달되도록 허용하고 있는데, 이는 방화벽 없이 웹 앱을 실행하는 것과 같습니다.

교훈은 분명합니다. 추론을 일반적인 API처럼 취급하면 조직은 위험에 노출됩니다. 정확성과 의미적 무결성을 간과하면 가용성과 신뢰성이 무너집니다. 기업은 런타임 정책 적용부터 적대적 이상 징후 탐지에 이르기까지 추론에 특화된 방어 체계를 애플리케이션 제공 스택에 통합해야 합니다.

결론

추론은 더 이상 먼 미래의 일이 아니라, 이미 오늘날 기업의 프로덕션 환경에 자리 잡고 있습니다. 조직의 80%가 이미 자체 추론 인프라를 운영하고 있습니다. 하지만 추론은 단순히 또 하나의 API가 아닙니다. 추론은 확률적 실행, 정확성 위험, 의미적 가변성을 수반하며, 애플리케이션을 제공한다는 것의 의미를 새롭게 정의합니다.

AI 시대에는 애플리케이션 제공 방식도 진화해야 합니다. 기업은 본질적으로 확률적인 추론 실행 환경에서도 추론 기반 시스템이 높은 성능과 가용성을 유지하고, 안정적으로(사용 가능하고 예측 가능하며 안전하고 정확하게) 작동하도록 전략과 기술을 조정해야 합니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물