실제로 AI 애플리케이션은 어떤 모습일까요? 몇 가지를 직접 구축해 본 지금이야말로 AI 애플리케이션을 구성하는 수많은 요소를 하나씩 살펴보고, 운영 측면에서 어떤 의미가 있는지 알아볼 좋은 시점인 것 같습니다.
앞서 우리는 AI 애플리케이션이 어떤 점에서 같고(많이), 어떤 점에서 다른지(많이) 살펴보았습니다. AI 애플리케이션은 ‘예측형 또는 생성형 AI를 활용하는 애플리케이션’이라고 간단히 정의할 수 있습니다.
맞는 말이지만, 이러한 새로운 유형의 애플리케이션을 구축하고 배포하며 제공하고 보호하고 운영해야 하는 사람들에게는 이것이 어떤 의미일까요?
우선 새로운 구성 요소가 추가된다는 뜻입니다. 그리고 추론 서비스만을 말하는 것도 아닙니다. 벡터 데이터베이스처럼 애플리케이션 아키텍처에 표준적으로 추가되는 새로운 구성 요소도 있습니다. 또한 API에 대한 의존도가 높아진다는 뜻이기도 합니다.
또한 이러한 구성 요소 대부분이 컨테이너화되어 있는 것도 사실입니다. 새로운 AI 애플리케이션 프로젝트를 시작할 때면 PostgreSQL을 실행하는 컨테이너를 구동해 벡터 데이터 저장소로 사용합니다. 이는 여러 업계 보고서에 따르면 상당수의 AI 애플리케이션에서 사용하고 있는 RAG(검색 증강 생성)를 지원하기 위한 것입니다(예를 들어 Databricks의 이 보고서). RAG를 사용하면 모델을 직접 미세 조정하거나 학습시키지 않고도 원하는 데이터를 활용해 기성 AI 모델을 보강할 수 있기 때문입니다. 상당수의 사용 사례에서 이는 AI 애플리케이션을 구현하는 가장 좋은 방법입니다.
또한 일반적으로 Neo4J와 같은 컨테이너형 그래프 데이터베이스를 실행해 지식 그래프를 구동할 수도 있습니다. 그래프 데이터베이스는 소셜 네트워크, 추천 엔진 데이터, 사기 탐지처럼 그래프 구조에 적합한 데이터를 다룰 때 특히 유용합니다. 또한 올해 초에 확인했듯이 정책 생성과 관련된 환각을 완화하는 데도 유용합니다. 그래프 데이터베이스를 도입하면 ‘새롭게 보안을 적용해야 할 대상’ 목록에 GraphQL이라는 새로운 프로토콜이 추가될 수 있습니다.
그런 다음 어떤 추론 서비스를 사용할지 결정합니다. 선택지는 여러 가지입니다. 클라우드 제공업체의 서비스나 서비스형 AI(ChatGPT 등)를 사용할 수도 있고, 로컬 서비스를 실행할 수도 있습니다. 예를 들어 최근에는 MacBook에서 Ollama와 phi3를 사용해 이것저것 실험해 보았습니다. 이 경우에는 추론 서버를 하나만 실행하고 있습니다. 여러 개를 실행하면 제가 보유한 것보다 더 많은 리소스가 필요하기 때문입니다. 물론 프로덕션 환경에서는 수요를 감당할 수 있도록 더 많은 인스턴스를 운영할 가능성이 큽니다.
phi3를 사용할 예정이므로, 추론 서비스에 액세스하기 위한 프레임워크로 phidata를 선택했습니다. 또한 인기 있는 선택지인 서비스형 AI를 활용할 때는 langchain도 사용해 보았는데, 다행히 운영 관점에서 이 프레임워크는 핵심 AI 애플리케이션 외부에서 별도로 작동하는 요소가 아닙니다.
AI 애플리케이션이 운영에 미치는 영향
아직 코드 한 줄도 작성하지 않았는데도 이미 여러 구성 요소가 실행 중이며, 각 구성 요소는 API를 통해 액세스되고 자체 컨테이너에서 실행됩니다. 그렇기 때문에 AI 애플리케이션은 현대적인 애플리케이션이며, 배포, 보안, 운영 측면에서 익숙한 과제를 모두 수반한다는 전제에서 출발합니다. 또한 AI 모델을 배포하면 제공 및 보안이 필요한 API의 수가 급격히 증가할 것이라고 보는 이유이기도 합니다.
AI 애플리케이션은 이미 복잡한 환경에 또 하나의 계층을 추가하므로, 당연히 복잡성이 더욱 커집니다. 이는 AI 애플리케이션 아키텍처가 보안과 SRE부터 네트워크에 이르기까지 모든 운영 기능의 부하를 증가시킨다는 의미입니다. 또한 각 구성 요소는 저마다 확장 특성이 다릅니다. 즉, 일부 구성 요소는 다른 구성 요소보다 더 빠르게 확장해야 하며, 대부분 서로 다른 API를 활용하고 경우에 따라 서로 다른 프로토콜을 사용하기 때문에 요청이 분산되는 방식도 달라집니다.
더욱이 AI 애플리케이션 아키텍처는 내부적으로 매우 다양한 양상을 보일 것입니다. 즉, 제가 구축한 AI 애플리케이션은 여러분이 구축한 AI 애플리케이션과는 다른 로컬 트래픽 특성과 요구 사항을 보일 가능성이 큽니다. 또한 이질성이 커질수록 자연히 복잡성도 증가합니다. 동질성을 촉진하는 표준화와는 정반대이기 때문입니다.
표준화는 수십 년 동안 기업이 새로운 기능의 시장 출시를 앞당기고 운영 효율성을 높이는 동시에, AI 애플리케이션 아키텍처의 다양성에 대응하는 데 필요한 인적 자원을 확보할 수 있게 해주는 수단이었습니다.
이러한 이유로 일부 공유 서비스, 특히 앱 및 API 보안이 서비스형 보안과 같은 에지로 이동하고 있습니다. 이러한 공유 서비스 세트는 모든 환경(코어, 클라우드 및 에지)의 워크로드를 더욱 효과적으로 보호할 뿐만 아니라, AI 애플리케이션 전반에서 표준으로 활용할 수 있는 공통 서비스 세트를 제공할 수 있습니다.
AI 애플리케이션의 구조를 이해하면 필요한 애플리케이션 전송 및 보안 서비스의 유형뿐만 아니라, 해당 서비스가 어디에 필요한지도 파악할 수 있습니다.
작성자 소개
Lori MacVittie는 F5 CTO 오피스의 수석 엔지니어이자 최고 에반젤리스트로, 애플리케이션 딜리버리, 자동화 전략 및 인프라 분야에서 깊이 있는 전문성을 보유하고 있습니다. AI 에이전트를 위한 가드레일을 정의하고, 취약한 멀티클라우드 아키텍처를 분석하며, 확장 가능한 시스템의 한계를 탐구하는 등 복잡한 문제를 명확하게 풀어내는 것으로 잘 알려져 있습니다. 애플리케이션 개발, IT 아키텍처, 네트워크 및 시스템 운영 전반에 걸쳐 30년 이상의 업계 경험을 쌓았습니다. F5에 합류하기 전에는 수상 경력이 있는 기술 편집자로 활동했습니다. MacVittie는 컴퓨터 과학 석사 학위를 보유하고 있으며, 보안, 클라우드 및 엔터프라이즈 아키텍처 분야를 아우르는 다수의 저서를 집필한 작가입니다. 또한 보드게임과 비디오 게임을 열정적으로 즐기며, 치즈에 대해서는 거리낌 없이 확고한 견해를 갖고 있습니다.
Lori Mac Vittie의 다른 블로그 게시물관련 블로그 게시물
AI 시대의 새로운 애플리케이션 제공 원칙으로 복잡성 극복하기
보안, 일관성, 완전 자동화에 중점을 둔 애플리케이션 제공의 새로운 6가지 원칙을 도입하여 복잡성 없이 하이브리드 멀티클라우드의 유연성을 누리세요.
디지털 혁신을 가속화하는 6가지 기술 역량
오늘날의 엔터프라이즈 아키텍처에는 기술 변화를 주도하는 데 핵심적인 민첩성, 확장성, 보안 및 관찰 가능성이 부족하지만, 이 여섯 가지 핵심 역량은 기업이 디지털 혁신 전반에 걸쳐 위험과 과제를 관리하는 데 도움이 될 것입니다.
하이브리드 근무가 ID 중심 보안으로의 전환을 이끌고 있습니다
자동화와 디지털화의 폭발적인 성장에 하이브리드 근무 모델로의 전환 추세가 더해지면서, IP 기반 보안에서 벗어나 ID 기반 액세스 전략으로 전환하는 움직임이 더욱 가속화될 것입니다.
관점의 현대화: 애플리케이션에서 경험으로
그리스와 로마의 신들처럼, 여러 신화에서도 동일한 존재가 다양한 모습으로 나타나는 것을 볼 수 있습니다. 본질적으로 각각의 화신은 기존 존재가 새로운 얼굴로 드러난 것입니다. 디지털 세계에서도 이와 비슷한 양상이 나타납니다. 우리가 ‘애플리케이션’이라고 부르는 것들은 흔히 기존 기능이 새로운 형태로 구현된 것이라 볼 수 있습니다.
코로나19 이후 기업 결제의 디지털 전환
디지털 결제는 과거의 현금만큼이나 보편화되었습니다. 코로나19 팬데믹으로 인한 봉쇄 조치는 소비자의 디지털 결제 서비스 의존도를 더욱 빠르게 높였습니다. 기업의 디지털 결제 도입 역시 가속화되었습니다. 대중을 상대로 영업하든 하지 않든 기업에는 여전히 지급해야 할 대금과 받아야 할 대금이 있기 때문입니다.
공급망 해킹과 보안에서 하드웨어의 역할
수석 아키텍트 Dave Schmitt와 CTO 오피스가 최근 Bloomberg의 Super Micro 관련 기사를 계기로 하드웨어 보안 전문성의 중요성을 되짚어봅니다. 또한 이 글에서는 시스템이 안전하게 보호되고 있는지 확인하기 위해 공급업체에 물어봐야 할 질문도 소개합니다.