AI가 새로운 트래픽 유형의 등장을 이끌고 있습니다

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

2022년에 당시로서는 다소 선구적으로 느껴졌던 엔터프라이즈 아키텍처의 전환을 제안했습니다. 주장은 간단했습니다. 조직이 AI 기반 디지털 비즈니스를 운영하려면 아키텍처도 진화해야 한다는 것이었습니다. 애플리케이션은 계속해서 가치의 중심에 있겠지만, 이를 둘러싼 계층은 변화해야 했습니다. 애플리케이션 배포 및 딜리버리, 데이터 아키텍처 및 거버넌스, 인프라가 운영의 핵심을 이루고, 그 주변에는 고도로 자동화된 데이터 기반 시스템을 운영하는 데 필요한 역량, 즉 관측 가능성과 자동화가 자리하게 됩니다. 보안 아키텍처, 운영 및 거버넌스는 전체 스택에 걸쳐 적용되며, SRE 관행이 운영 루프를 하나로 연결합니다.

2022년 디지털 비즈니스를 위한 엔터프라이즈 아키텍처 제안

그 모델의 전제는 AI가 마법처럼 모든 곳에 등장한다는 것이 아니었습니다. 전제는 AI가 디지털 시스템의 변화 속도와 시스템 간 기계 주도형 상호작용의 규모를 확대한다는 것이었습니다. 이러한 시스템 내부에서 무슨 일이 일어나고 있는지 파악하려면 관측 가능성이 필요하고, 시스템을 안정적으로 유지할 수 있을 만큼 신속하게 대응하려면 자동화가 필요합니다.

오늘날로 시선을 돌려보면, 이 아키텍처는 더 이상 가설에만 머물러 있지 않습니다.

엔터프라이즈 아키텍처의 현황

당사의 최신 연구에 따르면 약 4분의 3에 해당하는 조직이 이미 AI 지원 애플리케이션을 운영하고 있으며, 80% 이상은 가까운 미래에 자사의 포트폴리오 전반에 AI 기능이 내장될 것으로 예상합니다. AI는 사실상 또 하나의 애플리케이션 종속 요소가 되었습니다. 모델은 API를 통해 호출되고, 추론 엔드포인트는 서비스처럼 작동하며, 프롬프트와 응답은 애플리케이션 트래픽으로서 구성 요소 간에 이동합니다.

AI가 애플리케이션 계층에 도입되면 애플리케이션 배포 및 전송의 역할이 즉시 명확해집니다. 추론 요청은 적절히 라우팅되어야 합니다. 지연 시간은 사용자 경험에 매우 중요한 요소가 됩니다. 모델 엔드포인트는 수요에 맞춰 확장되어야 합니다. 애플리케이션과 모델 간의 상호작용은 검사되고 관리되어야 합니다.

하지만 추론 트래픽은 전체 이야기의 일부일 뿐입니다.

AI 도입이 아키텍처에 미치는 실질적인 영향은 우리가 수년 전부터 강조해 온 운영 계층, 즉 자동화와 관측 가능성에서 드러납니다.

이러한 계층은 필연적으로 새로운 유형의 시스템 트래픽을 생성합니다.

두 가지 새로운 시스템 트래픽 범주

자동화 트래픽은 인프라와 상호 작용하는, 기계가 생성한 작업으로 구성됩니다. 에이전트는 API를 호출하고, 자동화 플랫폼은 구성을 업데이트하며, 의사 결정 시스템은 워크플로를 실행합니다. 이러한 요청은 더 이상 주로 사람이 시작하지 않습니다. 신호와 맥락에 반응하는 시스템이 생성합니다.

저희 연구에 따르면 이러한 변화는 이미 진행 중입니다. 조직의 약 3분의 2가 자동화를 가속하기 위해 AI를 사용하고 있다고 답했으며, 절반 이상은 AI 시스템이 정책이나 구성을 자동으로 조정하도록 허용하고 있습니다.

실질적으로 이는 인프라가 기계의 의사 결정에 따라 변경되는 경우가 점점 늘고 있음을 의미합니다. API 호출, 구성 변경, 운영 워크플로는 운영자가 아닌 소프트웨어에 의해 실행됩니다.

이러한 활동이 바로 자동화 트래픽입니다.

자동화 트래픽은 기존의 운영 상호작용과는 다르게 작동합니다. 자동화 트래픽은 기계의 속도로 발생할 수 있으며, 그 규모도 사람의 활동보다 훨씬 클 수 있습니다. 따라서 애플리케이션 트래픽에 적용되는 것과 동일한 수준의 엄격한 원칙에 따라 전송되고 관리되어야 합니다. 시스템은 자동화 활동이 급증하는 상황을 처리할 수 있도록 확장되어야 합니다. 자동화가 통제 불능 상태로 실행되는 것을 방지하기 위해 속도 제한과 할당량이 필요할 수 있습니다. ID 및 권한 부여 제어를 통해 에이전트가 의도된 범위 내에서만 작동하도록 보장해야 합니다.

두 번째로 부상하는 트래픽 유형은 텔레메트리 트래픽입니다.

텔레메트리 트래픽은 관측 가능성 시스템을 통해 흐르는 메트릭, 로그, 트레이스 및 이벤트로 구성됩니다. 기존 운영 방식에서 텔레메트리는 주로 사람의 의사결정을 지원했습니다. 운영자는 시스템 동작을 관찰하고 대응 방법을 결정했습니다.

AI는 그 순환 구조를 바꿉니다.

관측 가능성 신호는 점점 더 자동화된 의사 결정 시스템에 활용되고 있습니다. 텔레메트리는 이상 징후를 감지하고, 조치를 권고하거나, 문제 해결 워크플로를 실행하는 모델에 정보를 제공합니다. 이제 텔레메트리는 단순히 시스템의 상태를 설명하는 데 그치지 않고, 시스템을 제어하는 체계의 입력값이 됩니다.

이로 인해 텔레메트리 트래픽의 중요성이 크게 높아집니다. 이러한 신호는 AI 기반 분석에 대한 증가하는 수요를 지원할 수 있도록 확장되어야 합니다. 무엇보다도 신뢰할 수 있어야 합니다. 텔레메트리 스트림이 부정확하거나 조작되면 이를 기반으로 작동하는 자동화 시스템이 잘못되거나 유해한 결정을 내릴 수 있습니다.

따라서 텔레메트리 파이프라인에는 자체적인 전송 및 보안 제어가 필요합니다. 신호가 적법한지 확인하려면 소스를 인증해야 합니다. 파이프라인은 증가하는 텔레메트리 데이터 양을 처리할 수 있도록 확장되어야 합니다. 관측 가능성 시스템은 텔레메트리 인프라 자체도 모니터링해야 합니다.

자동화 트래픽과 텔레메트리 트래픽은 피드백 루프를 형성합니다. 이 루프는 AI 기반 환경의 운영을 지탱하는 핵심 동력입니다.

이 모든 것이 의미하는 바

수년 전 우리가 제안한 아키텍처는 고도로 동적인 시스템에 자동화와 관측 가능성이 모두 필요하다는 점을 내다보고 설계되었습니다. AI는 이러한 계층이 필수 요소가 되는 상황을 더욱 빠르게 앞당겼습니다.

자동화는 자동화 트래픽을 생성합니다. 관측 가능성은 텔레메트리 트래픽을 생성합니다.

이 두 가지 모두 AI 기반 시스템을 대규모로 운영할 때 자연스럽게 발생합니다. 또한 이전의 다른 모든 시스템 상호작용과 마찬가지로, 이러한 트래픽 유형도 엔터프라이즈 아키텍처에서 핵심 요소로 다뤄져야 합니다. 환경을 통과하는 다른 애플리케이션 또는 시스템 트래픽과 마찬가지로 안정적으로 전달되고, 정책에 따라 관리되며, ID를 통해 인증되고, 안전하게 보호되어야 합니다.

작성자 소개

Lori Mac Vittie수석 엔지니어 겸 최고 에반젤리스트 | F5

Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.

Lori Mac Vittie의 다른 블로그 게시물