이 블로그 게시물은 AI 데이터 제공에 관한 시리즈의 세 번째 글입니다.
생성형 AI는 겉보기에는 손쉽게 작동하는 것처럼 보일 수 있습니다. 하지만 성공적인 모델 뒤에는 산업용 정유 시설만큼이나 복잡하고 민감한 데이터 파이프라인이 있습니다.
AI 업계 리더들은 AI를 확장하는 데 가장 큰 걸림돌은 모델이 아니라 모델에 데이터를 공급하는 흐름이라고 한결같이 지적합니다. McKinsey & Company는 기업의 AI 지원 데이터 인프라 수요가 매년 30% 이상 증가하고 있으며, 모델 학습 환경의 데이터 요구량은 이보다 더 빠르게 늘고 있다고 추산합니다. 따라서 이러한 파이프라인에 문제가 생기면 아무리 최첨단 GPU라도 유휴 상태로 남게 됩니다.
간단한 비유를 통해 이 과제를 이해해 보겠습니다.
“AI 데이터 파이프라인을 현대적인 제조 조립 라인에 비유해 보세요. 원자재(기업 데이터)는 라인에 투입되기 전에 올바르게 수집하고 검사하여 준비해야 합니다.”
그런 다음 엄격한 품질 기준을 충족할 수 있도록 정제, 라벨링, 변환, 검증과 같은 일련의 정밀한 단계를 거칩니다. 마지막으로 완성된 구성 요소를 적시에 적절한 생산 공정으로 효율적으로 전달해야 합니다. 어느 한 단계라도 일관성이 없거나 지연되거나 제대로 맞물리지 않으면 전체 작업이 정체됩니다. 이는 하나의 작업 구간에 문제가 생기면 조립 라인 전체가 멈추는 것과 같습니다.
원자재를 수집하고 정제하여 생산 공정에 전달해야 하는 것처럼, 기업 데이터도 수집, 변환, 전달 과정을 거쳐야 모델 학습 및 미세 조정에 유용하게 활용되거나 검색 증강 생성(RAG)에 사용될 수 있습니다. 어느 한 단계라도 오염되거나 지연되면 전체 AI 시스템이 손상되어 비즈니스에 부정적인 영향을 미치고 투자수익률(ROI)이 저하됩니다.
이 게시물에서는 이러한 세 단계를 살펴보고, F5 BIG-IP와 S3 호환 오브젝트 스토리지가 오늘날 기업이 의존하는 모델 파운드리 워크플로를 어떻게 지원하는지 설명합니다.
1단계: 수집—원시 자료를 확보하고 통합하기
수집은 데이터가 AI 생태계로 유입되는 단계입니다. 기업이 단일 정보 소스를 보유한 경우는 드뭅니다. 데이터라는 ‘원재료’는 부서별 시스템, 클라우드 서비스, 객체 스토리지, SaaS 도구, 로그, API는 물론 외부 서드파티 데이터에까지 분산되어 있습니다. 이러한 데이터는 서로 다른 형식과 주기로 유입되며, 무결성 수준도 제각각입니다.
이 단계에서는 데이터가 중앙 집중식 또는 분산형 객체 스토리지로 이동하는 과정에서 식별, 인증, 정규화 및 검증되어야 합니다. 메타데이터가 추가되고 스키마가 매핑되며 초기 품질 검사가 수행됩니다. 데이터 수집이 허술하면 파이프라인의 나머지 단계도 그 문제를 그대로 이어받게 됩니다. 시간이 지남에 따라 모델 성능이 저하되는 모델 드리프트, 환각 현상, 불안정한 학습 작업은 일관성이 없거나 제대로 관리되지 않은 데이터 수집에서 비롯되는 경우가 많습니다.
또한 이 단계에서는 연결의 불안정성이 실질적인 문제로 대두됩니다. 고도로 분산된 환경에서는 원격 시스템과의 장기 연결이 예기치 않게 끊어지는 경우가 많습니다. 적절한 보호 조치가 없으면 이러한 장애로 인해 객체 스토리지 환경에 방치된 세션이 열린 채로 남아 리소스를 서서히 고갈시키고 환경의 안정성을 저해합니다.
F5 BIG-IP은 이러한 연결을 관리하고, 과도한 리소스 소비를 방지하며, 소스 측 네트워크가 불안정한 경우에도 데이터 전송이 예측 가능하게 완료되도록 함으로써 안정성을 제공합니다. 또한 토큰 검증, ID 통합, 상호 TLS를 포함한 기본 제공 인증, 트래픽 관리, API 보호, DDoS 방어 등 BIG-IP의 검증된 강점은 조직으로 가져오는 민감한 데이터도 보호합니다.
이러한 보호 장치가 마련되면 데이터는 다음 단계에 데이터를 공급하는 S3 호환 스토리지 시스템에 안정적으로 도달합니다.
2단계: 변환—데이터를 모델에 바로 사용할 수 있는 자료로 정제
수집이 원재료를 들여오는 과정이라면, 변환은 이를 고품질의 모델용 데이터 자산으로 가공하는 정제소와 같습니다. 이 단계의 작업은 많은 팀이 예상하는 것보다 훨씬 복잡하며, 놀라울 정도로 많은 AI 프로젝트가 여기서 난관에 부딪힙니다. 모델 파운드리 환경은 일관되고 체계적으로 관리되는 데이터에 의존합니다. 데이터에 노이즈가 많거나 일관성이 없고, 형식이 부적절하거나 레이블링이 제대로 되어 있지 않으면 학습이 불안정해지고 모델 품질이 저하됩니다.
변환은 데이터를 정제하고 변환하며 준비하여 모델 학습, 미세 조정 또는 검색 증강 생성(RAG)에 사용할 수 있도록 하는 과정입니다.
문서와 PDF는 구조화된 텍스트 또는 벡터 임베딩으로 변환됩니다. 이미지와 로그는 표준 형식으로 파싱됩니다. 누락된 값은 보정됩니다. 민감한 정보는 마스킹되거나 암호화됩니다. 규제 기관이 특정 자산의 생성 또는 수정 과정을 추적할 수 있도록 데이터 계보가 기록됩니다. RAG 파이프라인에서는 청킹 전략 수립, 임베딩 생성, 인덱스 업데이트도 이 단계에서 이루어집니다.
기존에는 중앙 집중식 환경에서 변환이 이루어졌지만, 이러한 방식은 변화하고 있습니다. 데이터 양이 폭발적으로 증가함에 따라 일부 변환 작업을 엣지 또는 데이터 소스 인근에서 수행하는 것이 점점 더 합리적인 선택이 되고 있습니다.
F5 BIG-IP은 데이터가 생성되는 지점에 더 가깝게 배치할 수 있는 유연한 폼 팩터를 통해 분산형 데이터 보강 및 정제를 지원합니다. 엣지에 배포된 유연한 S3 호환 객체 스토리지와 함께 사용하면 조직은 데이터를 중앙 파이프라인으로 다시 보내기 전에 필터링하고 정제할 수 있습니다. 이를 통해 트래픽 비용을 절감하고 불필요하거나 규정을 준수하지 않는 콘텐츠가 전송될 위험을 최소화할 수 있습니다.
변환이 완료되면 조직은 다운스트림 컴퓨팅 시스템에서 바로 사용할 수 있는 정제되고 신뢰할 수 있으며 안전한 자산을 확보하게 됩니다.
3단계: 전달—최적화된 데이터를 적시에 적합한 컴퓨팅 환경으로 이동
전달은 정제된 데이터가 이를 필요로 하는 GPU 클러스터, 미세 조정 작업, 벡터 데이터베이스 또는 RAG 파이프라인에 제공되는 단계입니다.
전달 품질은 사용자와 운영자에게 즉각적인 영향을 미칩니다. 데이터 도착이 너무 늦으면 GPU가 유휴 상태에 빠집니다. 라우팅이 비효율적이면 작업 대기 시간이 예상보다 길어집니다. 액세스 제어가 취약하면 민감한 데이터 세트가 노출됩니다.
잘 설계된 전송 단계는 데이터가 스토리지에서 컴퓨팅 환경으로 빠르고 일관되게 이동하도록 보장합니다. 처리량이 높은 액세스 경로를 통해 분산 학습 작업이 오브젝트 스토리지에서 데이터를 병렬로 읽을 수 있습니다. 지능형 캐싱은 성능을 향상시킵니다.
자동화된 워크플로는 학습 실행 일정을 관리하고, 리소스를 확장하며, 시맨틱 검색 쿼리를 라우팅합니다. 모니터링 도구는 지연 시간, 처리량 및 성능 이상을 추적합니다.
여기에서도 보안은 여전히 매우 중요합니다. 액세스는 데이터 수집 시점뿐만 아니라 실제 사용 시점에도 제어되어야 하며, 이를 통해 각 데이터 세트가 적절한 모델, 작업 또는 사용자에게만 제공되도록 해야 합니다.
F5 BIG-IP은 정책을 적용하고, 토큰을 검증하며, 요청 패턴을 모니터링하여 이를 지원합니다. 또한 데이터가 컴퓨팅 리소스로 최대한 효율적으로 흐르도록 트래픽 분산을 최적화합니다.
확장 가능한 S3 호환 스토리지와 함께 사용하면 이러한 기능은 학습 및 미세 조정 작업에 데이터가 지속적으로 공급되는 환경을 조성하여 GPU 유휴 시간을 줄이고 예측 가능한 성능을 유지합니다.
세 단계가 어떻게 하나로 연결되는가
수집, 변환, 전달은 서로 구분되는 프로세스이지만, 하나의 연속적인 주기로 작동합니다.
수집은 기업 전반의 최신 데이터가 거버넌스 정책에 따라 시스템에 유입되도록 합니다. 변환은 해당 데이터를 학습, RAG 인덱싱 또는 미세 조정에 적합한 고품질 자산으로 정제합니다. 전달은 이러한 자산을 무결성을 유지하면서 적절한 컴퓨팅 리소스로 신속하게 이동합니다.
어느 한 영역이라도 취약하면 전체 운영이 느려집니다. 또한 파이프라인 장애도 만연해 있습니다. 여러 출처에 따르면 전반적으로 기업 AI 프로젝트의 80% 이상이 실패하며, 이들 중 다수는 그러한 실패의 최소 70~80%가 데이터 품질이 낮거나 충분하지 않은 데서 비롯된다고 보고합니다.
하지만 BIG-IP과 같은 안전하고 복원력 있는 네트워크 서비스와 확장 가능한 S3 호환 스토리지의 지원을 받아 파이프라인이 처음부터 끝까지 원활하게 작동하면, 조직은 더 빠르게 학습하고 더 확신을 갖고 미세 조정하며 산업 규모로 모델 파운드리 환경을 운영할 수 있습니다.
F5는 어디서나 AI 애플리케이션을 제공하고 보호합니다
당사의 AI 데이터 전송 솔루션에 대한 자세한 내용은 AI 데이터 전송 및 인프라 솔루션 웹페이지에서 확인하세요.
AI에 대한 F5의 노력은 데이터 전송에만 그치지 않습니다. F5가 어디서나 AI 앱을 보호하고 제공하는 방법을 알아보세요.
AI 데이터 전송 시리즈의 다른 블로그 게시물도 꼭 확인해 보세요:
F5와 S3 호환 스토리지로 AI 데이터 파이프라인 강화
AI 스토리지에 새로운 로드 밸런싱 접근 방식이 필요한 이유
파이프라인 속도 저하 없이 AI 데이터 파이프라인 보호
작성자 소개
Mark Menger는 AI 및 보안 기술 파트너십을 전문으로 하는 F5의 솔루션 아키텍트입니다. 그는 F5의 AI 레퍼런스 아키텍처 개발을 이끌며 안전하고 확장 가능한 AI 솔루션의 발전을 주도하고 있습니다. 글로벌 솔루션 아키텍트 및 솔루션 엔지니어로서의 경험을 바탕으로 F5의 보안 클라우드 아키텍처에 기여했으며, 분산형 4계층 아키텍처를 공동 개발했습니다. 『Solving IT Complexity』의 공동 저자인 그는 IT 과제 해결에 관한 전문성을 갖추고 있습니다. 이전에는 애플리케이션 개발자와 엔터프라이즈 아키텍트로 근무하며 최신 애플리케이션, 자동화, AI 투자 가치 실현 가속화에 주력했습니다.
Mark Menger의 다른 블로그 게시물
관련 블로그 게시물
추론 경로가 곧 트래픽 경로다: AI 보안이 자리해야 할 곳
이제 AI 트래픽에는 의도와 데이터, 작업이 담깁니다. AI 보안을 적용하는 데 추론 경로가 가장 중요한 지점이 된 이유를 알아보세요.
최전선 AI를 네트워크 경계에서 차단하기: 인라인 제어가 Mythos급 모델에 맞서는 핵심 우위인 이유
포스트-Mythos 시대에 사이버 방어가 어떻게 변화했으며, 조직이 통제 지점을 바꿔야 하는 이유를 알아봅니다.
애플리케이션 딜리버리 컨트롤러가 다시 전략적 의제로 떠오르고 있습니다
AI로 인해 애플리케이션 제공의 중요성이 더욱 커지고 있습니다. F5의 Nirav Shah가 새로운 Gartner® ADC 연구와 이것이 엔터프라이즈 인프라 의사 결정에 미치는 영향에 대해 설명합니다.
증거로 입증하는 AI 보안: Gartner SRM에서 선보일 내용
Gartner SRM에서의 세션을 앞두고, F5의 제품 마케팅 담당 수석 부사장이 F5가 세 가지 실질적인 단계를 통해 조직의 AI 보안을 어떻게 지원하는지 설명합니다.
파이프라인 속도 저하 없이 AI 데이터 파이프라인을 안전하게 보호하세요
AI 데이터 파이프라인 보안은 선택 사항이 아닙니다. 그 점은 분명합니다. 하지만 이를 제대로 보호하는 방법은 훨씬 불분명하며, 훨씬 더 어려운 과제입니다.
AI 스토리지에 새로운 로드 밸런싱 접근 방식이 필요한 이유
AI 워크로드에는 새로운 관점으로 설계된 스토리지가 필요합니다. AI 특유의 데이터 액세스 패턴은 레거시 인프라에 내재된 심각한 병목 현상과 비효율성을 여실히 드러냅니다.