운영 데이터와 생성형 AI의 교차점

James Hendergart기술 연구 담당 수석 이사 | F5

생성형 AI(GenAI)에 대한 이야기가 곳곳에서 쏟아지고 있습니다. 그렇다면 실제로 주목받는 것은 무엇일까요? 생성형 AI는 어떻게 세상을 더 나은 곳으로 만들고 있을까요? 비즈니스 가치는 어디에서 찾을 수 있을까요? 이러한 질문은 GenAI를 운영(AIOps)에 도입할지, 도입한다면 언제 도입할지를 고민하는 조직이 직면한 과제를 살펴볼 때도 똑같이 중요합니다. 지난 1년간 생성형 AI를 실험하고 F5에서 매일 연구하며 업계 동향을 폭넓게 접한 경험을 바탕으로, GenAI가 운영 데이터 관행에 미치는 영향을 이해하려는 조직에 도움이 될 다섯 가지 핵심 시사점을 제시합니다. 이를 통해 조직은 기존 예산과 업무 관행, 문화에 맞춰 GenAI 기술 도입 일정을 더욱 효과적으로 조정할 수 있을 것입니다.

1. GenAI 모델은 반정형 및 비정형 데이터를 선호합니다

운영 데이터는 반정형 데이터(객체)와 비정형 데이터 세트가 뒤섞여 있습니다. 대규모 언어 모델(LLM)은 이러한 다양한 데이터 형식을 매우 유연하고 효과적으로 처리할 수 있습니다. 따라서 LLM은 운영 데이터 세트를 분석하는 데 활용하기에 매우 적합한 기술입니다. 조직은 다양한 GenAI 기반 솔루션의 효과와 사용 편의성, 비용을 검증하기 위해 사내에서 여러 실험과 평가를 수행할 수 있습니다. LLM 추론을 활용해 오탐을 줄이면서 유의미한 데이터 패턴을 탐지하면, 운영 데이터 흐름을 활용하는 팀의 목표에 맞춰 기계의 속도와 확장성을 활용할 수 있습니다.

2. 조직은 모델을 직접 구축할 필요가 없습니다

당면한 특정 작업에 어떤 모델이 어떤 기법을 사용하는지 파악하는 데 집중하는 조직은 자체 모델을 구축할 필요가 없습니다. 예를 들어 개체명 인식(NER)은 자연어 처리(NLP)의 한 분야로, 반정형 데이터에서 핵심 요소를 식별하는 데 효과적인 기법으로 입증되고 있습니다. NER의 예로는 요일과 같은 범주로 구성된 목록이나 1보다 크고 5보다 작은 정수와 같은 설명을 들 수 있습니다. 이를 활용하면 생성형 AI가 적용되지 않은 규칙 기반 패턴 매칭 기법보다 추론 과정에서 더 높은 정확도를 얻을 수 있습니다. NER과 같은 기법에 대한 연구와 활용 사례가 계속 발전함에 따라 운영팀은 모델을 구축하는 대신 효과가 입증된 기법을 활용하는 데 집중할 수 있습니다.

NER 예시:
명명된 개체: 요일
목록: 일요일, 월요일, 화요일, 수요일, 목요일, 금요일, 토요일

그림 1. 명명된 엔터티 인식은 추론 시 규칙 기반 패턴 매칭보다 더 높은 정확도를 제공합니다.

3. 데이터 중력은 실재한다

데이터 중력은 컴퓨팅 리소스를 데이터가 생성되는 위치에 더 가깝게 배치할지, 아니면 데이터를 이미 컴퓨팅 리소스가 배포된 위치로 옮길지에 관한 결정에 영향을 미치는 근본적인 힘입니다. 데이터의 양이 많을수록 중력이 강해져 데이터와 가까운 곳에 더 많은 컴퓨팅 용량을 배치하게 됩니다. 학습(모델 생성 및 튜닝)의 경우 데이터를 한데 모아 컴퓨팅 리소스에 더 가까운 곳으로 이동합니다. 추론(모델 사용)의 경우 모델을 프롬프트가 입력되는 위치에 더 가깝게 이동합니다.

타사에서 호스팅하는 인스턴스의 API를 호출하는 대신 모델 사본을 사내로 가져와 사용하는 경우에는 모델을 프롬프트 및/또는 프롬프트의 일부로 벡터화된 추가 비공개 데이터 세트에 더 가까이 배치하는 것이 합리적입니다. 반면, 인터넷을 통해 API를 제공하는 타사가 모델을 호스팅하는 경우에는 모델과 추론 작업이 전혀 이동하지 않습니다. 이러한 경우에는 데이터 센터 코로케이션 상호 연결을 사용하거나, 가능하다면 호스팅 위치를 모델 제공업체의 위치와 일치시켜 추론 데이터와 비공개 데이터 벡터를 네트워크상 가까운 위치로 이동할 수 있습니다.

데이터와 컴퓨팅을 한데 모으는 요인뿐 아니라 서로 분리시키는 요인까지 이해하면 비용과 성능 사이에서 적절한 균형을 찾기 위한 합리적인 결정을 내리는 데 도움이 됩니다.

그림 2. 데이터 중력의 요인으로서의 네트워크 근접성

4. 데이터 사일로를 외면하지 말고 해결하세요

생성형 AI 처리 환경에서는 운영 데이터 분석을 간소화하고 가속화하기 위해 데이터 사일로를 해소하는 것이 그 어느 때보다 중요합니다. 하지만 당분간 데이터 사일로는 확산되지는 않더라도 계속 존재할 것으로 보입니다.

더 중요한 문제는 데이터 사일로를 어떻게 처리하고 어떤 기술을 선택할 것인가입니다. 여러 위치에 저장된 데이터에 액세스하는 방법으로는 데이터를 복사해 이동하거나, 데이터를 이동하지 않고 페더레이션 쿼리를 사용하는 논리적 데이터 계층을 구현하는 방안이 있습니다. 어떤 방안을 선택하든, 현재 존재하는 스트리밍 데이터 소스를 파악하고 시간 및 데이터 최신성 제약 조건을 기준으로 운영 사용 사례를 평가하면 스트리밍 엔진, 쿼리 엔진, 데이터 형식, 카탈로그 등 데이터 기술 스택에 필요한 요소를 선택하는 데 도움이 됩니다. 기술 선택권이 있으면 데이터 팀은 성능과 비용의 균형을 유지하면서 가장 효과적이고 사용하기 쉬운 기술을 선택할 수 있습니다. 이상적으로는 조직의 데이터 활용 역량이 시간이 지남에 따라 성숙해지는 동시에, 각 성숙도 단계에서 조직에 가장 적합한 방식을 선택할 수 있는 유연성이 항상 보장되어야 합니다.

5. 자동화는 친구입니다. 두려워하지 마세요

솔루션에 자동화를 도입하면 데이터 개인정보 보호 및 SecOps 전문가의 암묵지를 기계가 실행할 수 있는 반복 가능한 AIOps 기반 업무 방식으로 전환하여 확장성을 확보할 수 있습니다. 그래야만 데이터, 보안 및 개인정보 보호 팀이 지능을 더하는 데 집중할 수 있습니다. 지능은 데이터의 위치, 생성되는 사본, 공유 대상을 추적하는 동시에 특정 데이터를 누가, 얼마나 오래, 어떤 목적으로 사용할 수 있는지를 더욱 세밀하게 정의하여 정책의 효과를 높입니다. 이를 통해 전략 수립, 신기술 평가, 데이터 액세스 정책 개선 및 예외 승인을 위한 비즈니스 부서와의 소통에 더 많은 시간을 할애할 수 있습니다.

속도, 확장성, 자동화는 성숙한 AIOps 운영의 특징으로, 더 나은 성과와 더 빠른 의사 결정, 인적 자본의 최적화로 이어집니다. GenAI는 지금까지 기술로는 열 수 없었던 문을 열고 있습니다. 위에서 살펴본 다섯 가지 교훈은 IT 운영, 보안 운영, 개인정보 보호 운영 팀이 AIOps에 GenAI를 도입할 때 참고할 이정표를 제시합니다. AI 모델, 운영 데이터와 가까운 곳에 배치된 컴퓨팅, 데이터, 자동화는 새로운 AIOps 플랫폼을 구성하는 핵심 요소입니다. 조직은 이처럼 풍부한 학습 환경에서 현세대와 다음 세대를 위한 기술 운영 문화와 관행을 구축할 수 있습니다.

생성형 AI가 데이터에 미치는 영향을 더 자세히 알아보려면 F5의 최신 디지털 엔터프라이즈 성숙도 지수 보고서를 읽어보세요.

작성자 소개

James Hendergart기술 연구 담당 수석 이사 | F5

James Hendergart의 다른 블로그 게시물