나이가 들수록 우리 업계에서는 사실 달라지는 것이 아무것도 없고, 단지 용어만 바뀔 뿐이라는 사실을 깨닫게 됩니다. 예전에는 ‘서버’와 ‘클러스터’를 이야기했지만, 이제는 ‘노드’와 ‘에이전트’를 이야기합니다. 장애가 발생하는 양상은 똑같습니다. 달라진 것은 장애가 발생했을 때 치러야 하는 비용입니다.
우리가 무언가를 ‘클라우드’라고 부르기 전부터 내결함성과 복원력은 애플리케이션 제공을 묵묵히 떠받쳐 온 핵심 요소였습니다. 노드에 장애가 발생하면? 장애 조치를 수행합니다. 수요가 급증하면? 확장합니다. 서비스가 응답하지 않으면? 우회합니다. 이러한 원칙은 여전히 유효하지만, AI의 등장으로 그 중요성은 훨씬 더 커졌으며 이를 간과했을 때의 대가는 훨씬 더 가혹해졌습니다.
당사가 애플리케이션 딜리버리 10대 과제 중 ADC02를 소개했을 때, 수십 년에 걸쳐 확립된 핵심 사항은 명확했습니다. 이중화, 부하 분산, 자동화가 중요하며, 무엇보다도 점진적 성능 저하가 중요하다는 것입니다.
이러한 원칙은 AI 세계에도 단순히 적용되는 정도가 아니라 생존 법칙입니다. AI 앱과 에이전트 시스템은 새로운 방식으로 장애를 일으키지만, 그 원인과 해결책은 애플리케이션 딜리버리 자체만큼이나 오래되었기 때문입니다. 물론 저만큼 오래되지는 않았지만, 점점 그에 가까워지고 있죠.
성능
기존 인프라에서는 내결함성이 부족하면 부하가 걸릴 때 응답 시간이 느려지거나 구성 요소에 장애가 발생했을 때 아예 시간 초과가 발생했습니다. AI에서는 그 여파가 더욱 커집니다. 모델은 성능이 점진적으로 저하되는 대신 병목 현상을 일으킵니다. GPU 장애, 노드 정지 또는 데이터 링크 단절은 전체 추론 체인에 연쇄적으로 영향을 미칠 수 있습니다.
훈련 및 추론 파이프라인은 특히 취약합니다. 전처리기나 데이터 로더 하나만 오작동해도 모든 후속 프로세스에 필요한 데이터가 공급되지 않을 수 있습니다. AI 워크로드는 설계상 동기식으로 작동하므로 지연 시간이 빠르게 누적됩니다. 즉, 각 계층은 이전 계층의 처리가 끝날 때까지 기다립니다. 성능 저하는 단순히 응답이 느려지는 데 그치지 않고 시스템의 인지 능력 저하로 이어집니다. 단 하나의 서비스에 백업이나 재시도 경로가 없다는 이유만으로 답변이 중간에 끊기거나, 추론이 불완전해지거나, 결과가 일관되지 않는 현상이 나타나기 시작합니다.
가용성
과거에 고가용성이란 서버 이중화와 자동 장애 조치를 의미했습니다. 이제는 모델 이중화와 분산 추론 인프라를 의미합니다. 단일 모델 엔드포인트는 더 이상 서비스가 아니라 위험 요소입니다. 해당 노드에 장애가 발생하면 여기에 의존하는 모든 API 호출도 실패하며, 그 사실이 드러나지 않는 경우도 많습니다.
AI 서비스는 벡터 저장소, 임베딩 생성기, 추론 엔진, 라우터, 오케스트레이션 로직 등 여러 계층으로 구성되는 경우가 많습니다. 각 계층은 새로운 잠재적 장애 지점을 만듭니다. 이중화나 지능형 트래픽 조정이 없다면 단 하나의 계층에 문제가 생겨도 전체 스택이 중단될 수 있습니다. 그리고 여러분의 ‘AI 에이전트’가 작동하지 않는 종속성으로부터 자율적으로 복구하지 못한다면, 지구상에서 가장 비싼 단일 장애 지점을 구축한 셈입니다.
안정성
복원력은 단순히 가동 시간만을 의미하지 않습니다. 스트레스 상황에서도 일관되게 작동하는 것이 중요합니다. AI의 경우, 환경이 완벽하지 않더라도 일관된 결과를 출력해야 한다는 뜻입니다. 데이터 소스의 응답이 지연되거나 프롬프트 처리 도중 추론 노드가 재부팅되더라도 모델은 예측 가능한 방식으로 응답해야 합니다.
적절한 내결함성이 없으면 드리프트가 발생합니다. 즉, 시스템의 논리가 시시각각 일관성을 잃게 됩니다. 어떤 요청은 시간 초과되고, 다른 요청은 성공하며, 또 다른 요청은 무기한 멈춰 버립니다. 기존 시스템에서는 그저 불편한 문제에 불과하지만, AI 시스템, 특히 에이전트형 시스템에서는 혼란을 초래합니다. 에이전트는 예측 가능한 피드백 루프에 의존하므로, 그 리듬이 깨지면 추론 과정도 무너집니다.
AI 복원력을 위한 모범 사례
다행인 점은 회복탄력성을 위한 청사진이 달라지지 않았다는 것입니다. 다만 훨씬 더 빠르고 상호 의존성이 높은 환경에서 작동할 뿐입니다.
1. 모든 계층에 이중화를 구축하세요.
하드웨어 이중화뿐만 아니라 모델 이중화도 구현해야 합니다. 모델별로 여러 추론 엔드포인트를 운영하고, 가능한 경우 다양한 모델 계열을 활용하세요. 중요한 작업에는 대체 모델을 사용하여 단일 아키텍처의 문제로 인해 시스템 전체가 중단되지 않도록 하세요.
2. 오케스트레이션 계층에서 복구를 자동화하세요.
몇 초 만에 확장되고 장애가 발생하는 시스템에서는 수동 개입이 너무 느립니다. 엔드포인트가 중단되거나 GPU가 멈출 때 워크로드가 자동으로 전환되도록 탐지 및 재조정 로직을 오케스트레이션 계층에 직접 구축하세요.
3. 지능적으로 부하를 분산하세요.
기존의 부하 분산은 트래픽을 고르게 분배하는 데 초점을 맞췄습니다. AI에서는 성능 상태를 파악하는 것이 핵심입니다. 지연 시간, 토큰 처리량, GPU 상태, 모델 버전 또는 리전을 기준으로 부하를 분산하세요. 라우팅 시 단순히 연결 수만 볼 것이 아니라 실시간 용량과 모델 안정성을 고려해야 합니다. 제발 라운드 로빈 방식은 피하세요.
4. 점진적 성능 저하를 고려해 설계하세요.
AI 시스템은 장애가 발생하더라도 유용하게 작동해야 합니다. 모델을 사용할 수 없게 되면 완전히 실패하는 대신 더 작거나 저렴하거나 성능이 낮은 버전으로 요청을 라우팅하세요. 에이전트가 특정 기능이나 API에 대한 접근 권한을 잃더라도 중단되지 않고 상황에 맞게 적응해야 합니다.
5. AI 스택에 카오스 테스트를 수행하세요.
복원력은 이론에 그치지 않습니다. 의도적으로 시스템을 망가뜨려 보세요. 추론 노드를 중단하고, 입력 데이터를 손상시키고, 대역폭을 제한하고, 실행 중인 컨테이너를 종료하세요. 어떤 일이 일어나는지 확인하세요. 이제 AI 파이프라인은 수학으로 감싸진 마이크로서비스이므로, 과거에 마이크로서비스에만 적용하던 수준의 카오스 엔지니어링이 필요합니다.
새로운 스택에도 동일하게 적용되는 원칙
AI 시스템은 회복탄력성을 가장할 수 없습니다. 데이터 센터 장애 속에서도 웹 애플리케이션이 계속 작동하도록 했던 동일한 원칙이 이제는 모델 충돌과 네트워크 혼란 속에서도 자율 시스템이 제 기능을 유지하도록 합니다. 장애가 언제 발생할지는 통제할 수 없지만, 어떻게 복구할지는 통제할 수 있습니다.
사실 이 모든 것은 전혀 새로운 이야기가 아닙니다. 판돈만 달라졌을 뿐, 예전부터 반복되어 온 이야기입니다. 클라우드는 모든 것을 분산시켰고, AI는 이를 취약하게 만들었습니다. 이제 서비스 중단과 ‘AI 장애’의 차이는 그저 표현상의 차이에 불과합니다. 오래 지속되는 지능을 원한다면, 어떤 상황에서도 버텨 내는 인프라 위에 구축해야 합니다. 이중화는 낡은 유산이 아니라 보험입니다. 부하 분산은 구식 기술이 아니라 필수 요소입니다. 점진적 성능 저하는 선택 사항이 아니라 안전망입니다. 2000년대 초반 웹 계층을 안정적으로 유지했던 바로 그 운영 원칙이 2026년에는 AI 계층이 제 역할을 하도록 지켜 줄 것입니다.
아무리 많은 코드를 작성하고, 수학이 아무리 정교해지며, 우리 시스템이 아무리 지각이 있는 척해도, 뼈아픈 진실은 단순하기 때문입니다. 실패할 수 있는 것은 결국 실패합니다. 그리고 충분히 빠르게 복구할 수 있다면, 사용자는 장애가 있었다는 사실조차 모를 수 있습니다.
전 세계 조직이 직면한 애플리케이션 딜리버리의 10대 과제에 대해 자세히 알아보세요.
작성자 소개
Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.
Lori Mac Vittie의 다른 블로그 게시물관련 블로그 게시물
AI 앱 제공 10대 위험 요소: 취약한 DNS 관행
추론 및 에이전트형 시스템에서 DNS 복원력은 가용성과 성능을 좌우하는 핵심 요소입니다. DNS 확인에 문제가 생기면 잘못된 경로로 트래픽이 전달되고 지연 시간이 급증하며 여러 리전에서 서비스가 중단될 수 있습니다.
애플리케이션 딜리버리 10대 과제란 무엇인가요?
F5는 애플리케이션 딜리버리 10대 과제 목록을 통해 조직이 애플리케이션, API 및 생성형 AI를 제공하고 보호하는 과정에서 직면하는 문제를 해결할 수 있도록 지원하고자 합니다.
행동과 경계: 에이전틱 보안으로의 전환
에이전트는 시간이 지날수록 위험이 누적되는 예측 불가능하고 제한 없는 작업 흐름을 만들어냅니다. 보안은 단일 요청 검증에서 벗어나, 여러 단계에 걸쳐 변화하는 흐름 전반의 행동을 지속적으로 관리하는 방식으로 전환되어야 합니다.
아이덴티티는 에이전틱 AI의 문지기다
에이전트형 AI가 기계를 도구에서 행위 주체로 변화시키면서, 아이덴티티가 핵심 통제 수단으로 부상합니다. 즉, 누가 누구를 대신해 어떤 범위까지 행동할 수 있는지를 추론 시점에 인라인으로 강제 적용합니다.
AI가 새로운 트래픽 유형의 등장을 이끌고 있습니다
AI 도입으로 새로운 핵심 트래픽 유형이 등장하고 있습니다. 바로 추론 요청, 기계 주도형 자동화 트래픽, 그리고 제어 루프에 데이터를 공급하는 대용량 텔레메트리 트래픽입니다.