이 블로그 게시물은 AI 데이터 전송에 관한 시리즈의 다섯 번째 글입니다.
대부분의 조직이 AI 도입에 어려움을 겪는 이유는 모델이 부족해서가 아닙니다. 모델은 수와 유형 모두 빠르게 늘어나고 있습니다. 문제는 기존 인프라가 AI의 데이터 처리 방식에 맞게 설계되지 않았다는 데 있습니다.
학습, 미세 조정, 검색 증강 생성(RAG)은 모두 방대한 양의 데이터를 스토리지 시스템, 네트워크, 컴퓨팅 계층 전반에서 안정적이고 안전하게 반복적으로 이동하는 데 의존합니다. AI 프로젝트의 규모가 커질수록 데이터 액세스, 보안 정책 또는 복원력의 사소한 비효율도 연쇄적인 영향을 일으켜 파이프라인 속도를 늦추고, 작업을 중단시키거나, 인프라 비용을 증가시킬 수 있습니다.
“AI 인프라 최적화는 최고 성능 벤치마크를 좇는 일이 아닙니다. 데이터, 모델, 환경, 팀 등 모든 요소가 동시에 확장되는 상황에서도 안정성, 복원력, 보안, 운영의 명확성을 확보할 수 있도록 설계하는 일입니다.”
이 문제가 특히 어려운 이유는 AI 워크로드가 새롭고 익숙하지 않은 방식으로 인프라에 부담을 주기 때문입니다. 데이터 전송은 기존 애플리케이션이 예상하는 것보다 더 오래 지속됩니다. 스토리지 시스템은 더 자주 확장되고 재조정됩니다. 보안 및 규제 요구 사항은 온프레미스, 클라우드, 하이브리드 환경 전반에 걸쳐 적용됩니다. 또한 잠깐의 연결 끊김이나 재시도처럼 웹 앱에서는 감수할 수 있는 장애도 수 시간 또는 수일에 걸친 모델 작업을 무산시킬 수 있습니다.
그 결과, 많은 조직이 근본 원인을 해결하기보다 표면적인 문제에 대응하는 데 그치고 있습니다. 이러한 근본 원인에는 유지 관리 시간대에 중단되는 학습 작업, 환경마다 다르게 작동하는 미세 조정 파이프라인, 부하가 증가하거나 재인덱싱할 때 속도가 느려지는 RAG 시스템, 그리고 일관성이 없거나 대규모로 관리하기 어려운 보안 제어가 포함되는 경우가 많습니다.
AI 인프라 최적화는 최고 성능 벤치마크를 좇는 것이 아닙니다. 데이터, 모델, 환경, 팀 등 모든 요소가 동시에 확장되는 상황에서도 안정성, 복원력, 보안, 운영의 명확성을 확보할 수 있도록 설계하는 것이 핵심입니다.
확장 가능하고 복원력 있는 AI 인프라 구축을 위한 8가지 권장 사항과 금지 사항
대규모 모델을 학습하거나 특정 작업에 맞게 미세 조정하거나, 엔터프라이즈 데이터를 검색하고 추론하는 RAG 시스템을 구동하는 경우라면 다음 권장 사항과 주의 사항을 확인해 보세요. 확장성과 복원력에 가장 직접적인 영향을 미치는 인프라 선택을 중점적으로 다룹니다.
1. AI 워크로드의 스토리지 액세스 방식을 표준화하세요. 각 작업이 개별 스토리지 노드에 직접 연결되도록 두지 마세요.
- 훈련: 대규모 데이터 세트를 반복해서 읽으려면 안정적이고 예측 가능한 스토리지 엔드포인트가 필요합니다.
- 미세 조정: 빈번하게 실행되는 소규모 작업은 재구성 없이도 일관되게 액세스할 수 있어 효율적입니다.
- RAG: 임베딩 생성 및 갱신 파이프라인은 안정적인 객체 액세스에 의존합니다.
일관된 단일 액세스 계층을 사용하면 스토리지가 확장되거나 재조정될 때 재시도, 불안정한 스크립트, 파이프라인 장애를 방지할 수 있습니다.
F5 BIG-IP의 지원 방식: F5 BIG-IP은 백엔드 변경으로부터 AI 작업을 보호하는 안정적인 프런트 도어를 제공할 수 있습니다.
2. 장시간 지속되는 대용량 데이터 전송을 고려해 설계하세요. 수명이 짧은 웹 트래픽을 전제로 삼지 마세요.
- 훈련: 수 시간 또는 수일이 걸리는 작업은 일시적인 속도 저하에도 중단되지 않아야 합니다.
- 미세 조정: 순간적인 속도보다 지속적인 처리량이 더 중요합니다.
- RAG: 대규모 문서 수집 및 재색인에는 안정적인 멀티파트 전송이 필요합니다.
AI 데이터 이동은 애플리케이션 트래픽과는 다른 방식으로 이루어지므로 그에 맞게 처리해야 합니다.
F5 BIG-IP의 지원 방식: AI 데이터 흐름에 부합하는 안정적인 고처리량 연결을 조정할 수 있습니다.
3. 모든 환경에서 일관된 암호화 및 액세스 정책을 반드시 적용하세요. 환경마다 보안 규칙이 달라지지 않도록 하세요.
- 학습: 민감한 데이터 세트는 컴퓨팅이 어디에서 실행되든 안전하게 보호됩니다.
- 미세 조정: 정책 측면에서 개발, 테스트 및 프로덕션 환경은 동일하게 작동합니다.
- RAG: 독점 문서와 임베딩은 계층 간에 이동하는 동안 암호화된 상태로 유지됩니다.
중앙 집중식 정책 적용은 위험과 운영 부담을 줄여줍니다.
F5 BIG-IP의 지원 방식: 여러 환경에서 암호화 및 액세스 정책을 관리할 수 있는 단일 제어 지점을 제공합니다.
4. 가능하면 반복적인 인프라 작업은 외부에 맡기세요. AI 성과 향상에 도움이 되지 않는 작업에 CPU 사이클을 낭비하지 마세요.
- 훈련: 전처리 및 모델 실행을 지원할 수 있도록 호스트 리소스가 확보됩니다.
- 미세 조정: 여러 작업을 병렬로 실행하면 처리 시간이 단축됩니다.
- RAG: 암호화된 트래픽 환경에서도 수집 및 검색의 응답성이 유지됩니다.
인프라 작업은 필요하지만, AI 워크로드와 리소스를 두고 경쟁해서는 안 됩니다.
F5 BIG-IP의 지원 방식: AI 호스트 외부에서 트래픽 처리와 암호화를 효율적으로 관리하는 아키텍처를 지원합니다.
5. 안정적인 클라이언트 엔드포인트를 변경되는 백엔드와 분리하세요. 인프라 변경 사항이 AI 파이프라인에 노출되지 않도록 하세요.
- 학습: 스토리지 노드가 확장되거나 교체되어도 작업은 중단 없이 계속됩니다.
- 미세 조정: 백엔드 유지보수로 인해 반복 작업이 중단되지 않습니다.
- RAG: 장애 조치 이벤트 중에도 검색 엔드포인트가 안정적으로 유지됩니다.
이러한 분리는 복원력 확보에 매우 중요합니다.
F5 BIG-IP의 지원 방식: 비정상 상태이거나 변경 중인 백엔드를 우회하여 클라이언트 연결이 끊기지 않도록 트래픽을 라우팅합니다.
6. 복원력을 운영의 기본 기준으로 삼으세요. 장애가 발생한 뒤에야 취약점을 발견해서는 안 됩니다.
- 학습: 장시간 실행되는 작업은 계획된 유지보수 중에도 중단되지 않습니다.
- 미세 조정: 실험을 중단하지 않고도 업데이트를 배포할 수 있습니다.
- RAG: 상시 가용성으로 실시간 쿼리를 지원합니다.
복원력은 예외적인 것이 아니라 일상적인 것이어야 합니다.
F5 BIG-IP의 이점: 데이터 경로를 중단 없이 유지 관리하고 장애 조치를 제어할 수 있습니다.
7. 부하가 걸릴 때는 중요한 AI 데이터 흐름에 우선순위를 두세요. 백그라운드 트래픽 때문에 활성 워크로드에 필요한 리소스가 부족해지지 않도록 하세요.
- 학습: 복제 또는 동기화 작업 중에도 진행 중인 실행의 성능이 유지됩니다.
- 미세 조정: 반복형 파이프라인은 사용량이 가장 많은 시간대에도 예정대로 완료됩니다.
- RAG: 쿼리 및 검색 트래픽의 응답성이 유지됩니다.
모든 트래픽이 똑같이 중요한 것은 아닙니다.
F5 BIG-IP의 지원 방식: 의도에 따라 트래픽을 조정하고 우선순위를 지정하는 정책 지점 역할을 합니다.
8. 성능뿐만 아니라 명확성과 운영 편의성도 최적화하세요. 전문가만 운영할 수 있는 AI 스택을 구축해서는 안 됩니다.
- 학습: 작업 속도가 느려지거나 실패할 때 문제를 더 빠르게 해결할 수 있습니다.
- 미세 조정: 팀이 데이터 경로를 이해하면 반복 작업 속도가 빨라집니다.
- RAG: 시스템이 확장될수록 관심사 분리가 더 명확해집니다.
가장 확장성이 뛰어난 시스템은 팀이 이해하고 운영하며 발전시킬 수 있는 시스템입니다.
F5 BIG-IP의 지원 방식: AI 데이터 이동을 위한 명확하고 일관된 제어 계층을 제공합니다.
AI 인프라 확장이 가장 효과적인 경우
AI 인프라는 데이터 액세스가 안정적이고 보안이 일관되며, 인프라 변경 사항이 모델과 파이프라인에 노출되지 않고 전송 계층에서 흡수될 때 가장 효과적으로 확장됩니다.
당사의 AI 데이터 제공 솔루션에 대한 자세한 내용은 AI 데이터 제공 및 인프라 솔루션 웹페이지에서 확인하세요.
F5의 AI에 대한 노력은 데이터 전송에만 그치지 않습니다. F5가 어디서나 AI 앱을 보호하고 제공하는 방법을 알아보세요.
AI 데이터 전송 시리즈의 다른 블로그 게시물도 꼭 확인해 보세요:
F5 및 S3 호환 스토리지로 AI 데이터 파이프라인 강화
파이프라인 속도 저하 없이 AI 데이터 파이프라인 보호
작성자 소개
Mark Menger는 AI 및 보안 기술 파트너십을 전문으로 하는 F5의 솔루션 아키텍트입니다. 그는 F5의 AI 레퍼런스 아키텍처 개발을 이끌며 안전하고 확장 가능한 AI 솔루션의 발전을 주도하고 있습니다. 글로벌 솔루션 아키텍트 및 솔루션 엔지니어로서의 경험을 바탕으로 F5의 보안 클라우드 아키텍처에 기여했으며, 분산형 4계층 아키텍처를 공동 개발했습니다. 『Solving IT Complexity』의 공동 저자인 그는 IT 과제 해결에 관한 전문성을 갖추고 있습니다. 이전에는 애플리케이션 개발자와 엔터프라이즈 아키텍트로 근무하며 최신 애플리케이션, 자동화, AI 투자 가치 실현 가속화에 주력했습니다.
Mark Menger의 다른 블로그 게시물관련 블로그 게시물
추론 경로가 곧 트래픽 경로다: AI 보안이 자리해야 할 곳
이제 AI 트래픽에는 의도와 데이터, 작업이 담깁니다. AI 보안을 적용하는 데 추론 경로가 가장 중요한 지점이 된 이유를 알아보세요.
최전선 AI를 네트워크 경계에서 차단하기: 인라인 제어가 Mythos급 모델에 맞서는 핵심 우위인 이유
포스트-Mythos 시대에 사이버 방어가 어떻게 변화했으며, 조직이 통제 지점을 바꿔야 하는 이유를 알아봅니다.
애플리케이션 딜리버리 컨트롤러가 다시 전략적 의제로 떠오르고 있습니다
AI로 인해 애플리케이션 제공의 중요성이 더욱 커지고 있습니다. F5의 Nirav Shah가 새로운 Gartner® ADC 연구와 이것이 엔터프라이즈 인프라 의사 결정에 미치는 영향에 대해 설명합니다.
증거로 입증하는 AI 보안: Gartner SRM에서 선보일 내용
Gartner SRM에서의 세션을 앞두고, F5의 제품 마케팅 담당 수석 부사장이 F5가 세 가지 실질적인 단계를 통해 조직의 AI 보안을 어떻게 지원하는지 설명합니다.
파이프라인 속도 저하 없이 AI 데이터 파이프라인을 안전하게 보호하세요
AI 데이터 파이프라인 보안은 선택 사항이 아닙니다. 그 점은 분명합니다. 하지만 이를 제대로 보호하는 방법은 훨씬 불분명하며, 훨씬 더 어려운 과제입니다.
AI 스토리지에 새로운 로드 밸런싱 접근 방식이 필요한 이유
AI 워크로드에는 새로운 관점으로 설계된 스토리지가 필요합니다. AI 특유의 데이터 액세스 패턴은 레거시 인프라에 내재된 심각한 병목 현상과 비효율성을 여실히 드러냅니다.