F5의 AI 데이터 패브릭으로 AI 민주화

F5 에코시스템 | 2025년 1월 08일

2024년 초, 당사는 F5 AI Data Fabric을 선보였습니다. 이는 고객을 위해 인공지능의 역량을 활용하고자 당사가 구축한 새로운 플랫폼입니다. F5 AI Data Fabric을 통해 제품 팀은 당사의 전체 포트폴리오에서 생성형 AI를 쉽고 안전하게 활용할 수 있습니다. 당사는 AI Data Fabric을 기반으로 전체 포트폴리오에 AI를 도입하는 속도를 높이고 있으며, 이는 파트너와 고객에게 실질적이고 구체적인 혜택을 제공할 것입니다.

이 글은 AI Data Fabric이 무엇이고 어떻게 작동하는지 자세히 살펴보고, 이를 통해 시장에 선보이고 있는 놀라운 신규 AI 기반 기능들을 소개하는 블로그 시리즈의 첫 번째 글입니다. 시리즈의 첫 글에서는 빠른 도입을 추진한다는 목표의 지침이 된 기본 원칙에 초점을 맞추겠습니다.

AI의 대중화

AI Data Fabric을 통해 데이터 과학 배경이 없는 분야별 전문가를 비롯한 제품 팀 구성원 모두가 AI를 손쉽게 활용할 수 있는 시스템을 구축하고자 했습니다. 이 시스템은 데이터 처리 파이프라인, 여러 기반 트랜스포머 모델, 공유 모듈 생태계, MLOps, 그리고 소프트웨어 개발 키트(SDK)를 통해 제공되는 컨트롤 플레인을 결합합니다.

F5 AI Data Fabric의 핵심은 F5가 AI를 통해 빠르게 혁신할 수 있도록 설계된 AI 팩토리입니다. 우수한 AI 팩토리가 그렇듯이, AI Data Fabric은 AI 앱을 구축하고 실행할 수 있는 공통의 확장 가능한 인프라를 제공합니다. 이를 통해 제품 팀은 다음과 같은 작업을 수행할 수 있습니다:

학습 데이터를 생성하고 레이블 지정
작업별 특화 모델을 학습하고 미세 조정
해당 모델을 실행해야 하는 모든 환경에 맞게 패키징하고 배포하세요
모델 성능과 모델 드리프트를 모니터링합니다

“본질적으로 F5 AI Data Fabric은 F5가 AI를 활용해 빠르게 혁신할 수 있도록 설계된 AI 팩토리입니다.”

고객의 현재 상황에 맞춰 지원하기

이 여정을 시작하면서 우리는 도입을 촉진하기 위한 몇 가지 매우 구체적인 설계 목표를 세웠습니다. 사용자에게 기존 업무 방식을 바꾸도록 강요하기보다는 현재의 업무 환경과 방식에 맞춰야 했습니다. 이를 위해 모든 데이터를 쉽게 찾고 연결할 수 있도록 지원하고, 셀프서비스를 구현하며, 이동성과 이식성을 보장하고, 협업과 혁신을 촉진하는 생태계를 구축하는 한편, 대규모 언어 모델(LLM)을 활용해 모델 학습을 가속화했습니다.

데이터가 어디에 있든 연결

우수한 AI는 데이터에서 시작되며, F5 AI Data Fabric은 F5의 전체 제품 포트폴리오에서 수집되는 방대한 양의 데이터로부터 인사이트를 도출할 수 있도록 지원합니다. 대규모로 애플리케이션을 운영하는 대부분의 기업과 마찬가지로, 데이터가 단일 데이터 레이크에만 있는 것이 아니라 여러 저장소에 분산되어 있다는 현실을 인식하고 있습니다. F5는 온프레미스와 퍼블릭 및 프라이빗 멀티클라우드 환경에 배포된 애플리케이션과 데이터 소스를 지원하며, AI Data Fabric은 데이터가 어디에 있든 연결하고 컴퓨팅 리소스를 연계할 수 있습니다. 공통 데이터 카탈로그는 사용자가 다양한 데이터 소스를 탐색할 수 있도록 지원하는 동시에, F5의 데이터 거버넌스 전략에 부합하여 데이터 자산을 적절히 통제하고 감사할 수 있게 해줍니다. 이 전략을 통해 사용자의 업무 방식을 변경하지 않고도 여러 데이터 레이크와 데이터 소스에 걸쳐 다양한 애플리케이션 및 제품의 데이터에서 인사이트를 도출하고, 데이터를 관리하며, 거버넌스를 적용할 수 있습니다.

셀프서비스 지원

사용자가 데이터에 컴퓨팅 리소스를 연결할 수 있도록 하는 것은 일부에 불과합니다. 도입을 촉진하려면 데이터 과학 사용자의 전체 여정을 살펴보고 어느 지점에서 불편 요소를 제거할 수 있을지 고려해야 했습니다.

AI 앱의 패키징과 배포가 좋은 예입니다. 사용자가 번거로운 작업을 직접 하지 않아도 되도록 저희가 많은 어려운 작업을 대신 처리합니다. AI Data Fabric은 Python 종속성을 관리하고, HTTP 서버가 포함된 컨테이너에 AI 앱을 패키징하며, API 게이트웨이에서 해당 엔드포인트를 구성하고, 필요한 곳 어디에서나 적절한 GPU, CPU 및 메모리 요구 사항에 맞춰 Kubernetes에 AI 앱을 배포할 수 있습니다. 사용하기 쉬운 SDK를 통해 하나의 자동화된 워크플로에서 모델을 학습하고 패키징한 후 배포하는 모습을 상상해 보세요. 이 시스템을 사용하면 데이터 과학자는 10~15분 만에 AI 애플리케이션의 새 버전을 배포할 수 있습니다. 불필요한 번거로움을 줄이면 데이터 과학자가 가장 잘하는 일, 즉 데이터 과학에 집중할 수 있습니다.

AI의 이동성과 이식성을 고려한 구축

이는 고객의 현재 상황과 요구에 맞춰 지원하는 또 다른 사례입니다. 빌드된 모든 컨테이너는 AI Data Fabric의 컨테이너 레지스트리에 저장되므로, 사용자는 에어갭 환경을 비롯해 필요한 모든 곳에 AI 앱을 자유롭게 배포할 수 있습니다.

생태계 구축

AI 도입을 가속하려면 신속한 협업이 필요합니다. 이는 앞선 이들이 이룬 성과를 활용하고 이를 토대로 발전시켜 나가는 것을 의미합니다. AI 데이터 패브릭에는 일반적인 AI 기능부터 복잡한 AI 기능까지 수행할 수 있는 도구와 사전 구축된 모듈로 구성된 ‘AI 생태계’가 포함되어 있습니다. 사용자가 모듈과 모델을 생태계에 다시 기여하면 혁신을 실질적으로 가속할 수 있습니다. 모듈은 사전 구축된 이상 탐지 및 분류 모델부터 검색 증강 생성(RAG)을 수행하는 앱까지 다양합니다.

LLM을 활용하여 모델 학습 가속화

도입을 더욱 가속화하기 위해 에이전틱 AI의 원칙을 F5 AI Data Fabric에 적용했습니다. 그 결과, 데이터에 관해 추론하도록 모델을 학습하고 배포하며, AI를 활용해 그렇게 도출된 인사이트를 분석한 다음, 작업을 식별하고 완료할 수 있는 시스템을 구축했습니다. 간단히 말해, 대규모 언어 모델로 데이터를 생성하고, 이 데이터를 활용해 더 작고 특정 작업에 특화된 모델을 학습하고 있습니다. 대표적인 예가 학습 데이터에 레이블을 지정하는 방식입니다. 이는 데이터 과학자에게 매우 큰 부담이지만, 저희는 이를 줄일 수 있습니다. AI Data Fabric은 학습 데이터에 연결해 그 데이터에서 의미를 추출한 후, AI로 추출된 의미를 분석하여 레이블 지정 작업을 수행하고, 그 결과 생성된 레이블 데이터를 다른 곳으로 전송합니다.

이점

손쉬운 도입에 중점을 둔다는 것이 제품 팀에 의미하는 바는 다음과 같습니다:

효율성: AI 데이터 패브릭을 통해 협업, 모델 개발 및 배포를 더욱 빠르게 진행할 수 있습니다.
확장성: 고도로 자동화된 방식으로 수천 개의 모델을 제어, 관리 및 유지할 수 있습니다.
위험 감소: 모범 사례를 데이터 처리 및 자체 모델 실행을 위한 공통 표준화 시스템과 결합하면 거버넌스를 크게 개선하고, 고객 데이터를 보호하며, 규제 준수를 보장하는 데 도움이 됩니다.

향후 전망

F5 AI Data Fabric는 이미 AI 어시스턴트, 분류기 모델 학습, 웹 앱 및 API 보호(WAAP) 사용 사례를 위한 시그니처 생성 등 전사적으로 여러 핵심 프로젝트를 지원하는 데 활용되고 있습니다. 이러한 뛰어난 기능은 모델 학습, 미세 조정, 배포 및 추론을 위한 AI Data Fabric의 기반 모델과 서비스를 토대로 구현됩니다.

F5 AI Data Fabric를 활용해 고객과 파트너에게 제공할 수 있는 가치에 큰 기대를 걸고 있습니다. 앞으로도 이와 관련해 더 많은 소식을 전해 드릴 예정이니, 저희가 사용하는 몇 가지 기법과 극복해야 했던 과제, 그리고 이를 통해 구현하고 있는 구체적인 제품 기능을 자세히 다룰 후속 게시물을 기대해 주세요.