F5 BIG-IP v21.0, S3 객체 스토리지를 위한 향상된 AI 데이터 수집 기능 제공

F5 ADSP | 2025년 11월 18일

Amazon S3는 현대 인프라의 판도를 바꿨습니다. 객체 스토리지를 컴퓨팅과 분리함으로써 S3는 애플리케이션 팀에 간단한 API로 사용할 수 있는 내구성 높고 경제적인 용량을 제공했으며, 그에 못지않게 한 곳에서 생성된 데이터를 다른 곳에서 활용할 수 있도록 하는 중립적인 지점도 마련했습니다. 이 모델은 AI 파이프라인의 핵심 기반으로 자리 잡았습니다. 학습 세트는 버킷에 저장되고, 미세 조정 데이터 세트는 버전이 지정된 접두사를 거쳐 이동하며, 검색 증강 생성(RAG)을 위한 지식 코퍼스는 인덱서에 의해 하루 종일 불러와집니다.

AI 환경이 확장됨에 따라 앱을 S3 호환 오브젝트 스토리지에 연결하는 것만으로는 충분하지 않습니다. 기업에는 데이터 이동을 예측 가능하고 빠르며 안전하게 만들어 주는 전송 계층이 필요합니다. 이것이 바로 AI 데이터 전송이 해결하는 문제입니다. 즉, 적절한 데이터가 오브젝트 스토리지로 안전하게 이동하고, 사이트 전반에 걸쳐 적절한 기반 정책과 복원력을 바탕으로 AI 모델 파운드리 워크플로에 안정적으로 전달되도록 보장합니다. 이를 통해 학습, 미세 조정 및 RAG 워크플로를 일정대로 진행할 수 있습니다. 스토리지 앞단의 애플리케이션 전송 컨트롤러(ADC)는 비즈니스 및 기술 측면에서 필수적입니다. ADC는 급격한 트래픽 증가로부터 오브젝트 스토리지를 보호하고, 처리량을 안정화하여 클러스터의 안정성을 보장하며, 하이브리드 멀티클라우드 S3 배포 전반의 거버넌스를 중앙 집중화하는 제어 지점입니다.

데이터 저장소 앞에 F5 BIG-IP를 배치해야 하는 이유는 무엇인가요?

오늘날의 AI 스토리지는 과거의 웹 트래픽이 폭발적으로 증폭된 모습과 같습니다. 데이터 수집은 간헐적으로 폭증하고(예: 병렬 쓰기, 멀티파트 업로드), 읽기는 무작위로 발생하며, 유지 관리는 끊임없이 이루어집니다(예: 노드 재구축, 압축, 계층화). 이러한 예측 불가능한 패턴에 대응하려면 애플리케이션을 기반 스토리지와 분리하여 워크로드를 중단과 엔드포인트 변동성으로부터 보호하는 아키텍처가 필요합니다. 이러한 전용 전송 계층이 없으면 기업은 다음과 같은 8가지 일반적인 문제에 직면합니다:

로컬 복원력 문제: 속도가 느리거나 재구축 중인 노드 하나만으로도 작업 처리량에 차질이 생길 수 있습니다. F5 BIG-IP은 카나리 키에 대한 S3 HEAD/GET 검사와 같은 표적 상태 모니터링, 정책 기반 부하 분산, 연결 드레이닝을 통해 이 문제를 완화하여 유지 관리 중에도 장시간 실행되는 전송이 중단되지 않도록 합니다.
수동 글로벌 복원력: F5 BIG-IP DNS는 상태, 근접성 및 비즈니스 정책을 기반으로 클라이언트를 최적의 사이트로 자동 라우팅합니다. 애플리케이션 엔드포인트를 변경하지 않고도 클러스터 또는 리전 장애 조치를 원활하게 처리합니다.
객체 및 메타데이터 수준의 서비스 품질과 속도 제한: BIG-IP는 버킷, 객체 유형, 크기 및 태그를 기준으로 트래픽을 검사하고 구분합니다. 우선순위가 낮은 요청의 속도를 제한하여 우선순위가 높은 요청을 우선 처리함으로써 혼잡하거나 용량이 초과된 네트워크에서 시간 초과와 재시도를 방지합니다.
위험한 업그레이드: 스토리지 소프트웨어 업그레이드는 워크플로를 중단시킬 수 있습니다. BIG-IP는 영향을 받는 풀에서 트래픽을 드레이닝하고 상태 검사를 통과할 때까지 트래픽을 안정적인 시스템 버전에 일시적으로 고정하여 안전한 블루/그린 또는 롤링 업그레이드를 지원합니다.
혼잡한 복제 트래픽: 리전 간 동기화 및 클러스터 복제는 수요가 많은 기간에 병목 현상을 겪을 수 있습니다. BIG-IP는 복제 프로세스가 AI 모델 워크로드의 성능을 저해하지 않도록 트래픽의 우선순위를 지정하고 조정합니다.
일관되지 않은 TLS 보안 구성: BIG-IP는 오프로딩, 재암호화 또는 패스스루를 처리하여 TLS 관리를 중앙 집중화합니다. 일관된 암호화 스위트 정책과 PFS(Perfect Forward Secrecy)를 적용하고 필요한 경우 mTLS를 사용함으로써 스토리지 구성을 간소화하며, F5 rSeries 및 F5 VELOS의 SSL 가속을 통해 원활한 확장을 지원합니다.
포스트 양자 암호화(PQC) 방어: BIG-IP를 통해 조직은 전송 중 PQC를 지원하고 ‘지금 수집하고 나중에 해독하는’ 공격과 같이 미래의 양자 컴퓨터를 이용한 공격으로부터 데이터를 보호함으로써 미국 국립표준기술연구소(NIST) 및 EU 디지털 운영 복원력법(DORA)의 권고 사항을 준수할 수 있습니다.
S3 프로토콜 방어: BIG-IP는 인젝션, 권한 상승, 버킷 탈취, 자격 증명 또는 사전 서명된 URL 재사용, 계정 탈취 등의 S3 프로토콜 공격이 백엔드에 도달하기 전에 이를 탐지하고 차단합니다.

S3 데이터 전송 프로필이 BIG-IP v21.0에 도입됩니다

BIG-IP 버전 21.0에는 가상 서버를 프로덕션 환경에서 바로 사용할 수 있는 S3 프런트 도어로 손쉽게 전환하도록 설계된 S3 TCP/TLS 프로파일이 도입되었습니다. 이러한 프로파일은 고대역폭 경로를 위한 TCP 설정을 제공하고, 멀티파트 업로드 및 재시도를 지원하도록 HTTP/S3 동작을 개선하며, 엄격한 메서드 허용 목록과 선택적 mTLS 같은 보안 가드레일을 구현합니다. 이를 통해 클러스터 설정에서 완전히 가동되는 AI 파이프라인으로의 전환이 간소화되어 설정 시간이 며칠에서 몇 분으로 단축됩니다.

실제 AI 데이터 전송 사례

다음 데모에서는 BIG-IP이 빠른 설정을 넘어 지속적인 운영 가치를 제공하는 방식을 보여줍니다. 또한 S3 데이터 전송을 인프라 변경과 분리하고, 프로그래밍 가능한 정책을 통해 동적으로 조정하며, 클러스터 부하로부터 보호하는 방법을 중점적으로 다룹니다. 이러한 예시는 전용 전송 계층을 통해 AI 파이프라인의 예측 가능성, 확장성 및 보안성을 유지하는 방법을 종합적으로 보여줍니다.

데모 1: 수명 주기 추상화

이 데모에서는 스토리지 환경이 변화하더라도 애플리케이션의 연결과 운영이 중단 없이 유지되는 방식을 보여줍니다. 엔드포인트를 추상화하면 애플리케이션을 재구성하지 않고도 클러스터 수명 주기 변경, 공급업체 변경, 버전 업그레이드 또는 클러스터 확장 시 워크로드의 복원력을 유지할 수 있으며, 관측 가능성을 통해 성능 및 규정 준수에 대한 인사이트를 확보할 수 있습니다.

데모 2: 데이터 플레인 프로그래밍 기능

여기에서는 데이터 플레인 수준에서 정책과 라우팅을 동적으로 조정하는 방법을 보여줍니다. 이러한 유연성을 통해 기업은 세분화된 제어를 적용하고, 비즈니스 요구 사항에 맞게 트래픽 패턴을 조정하며, 위험을 관리하면서 환경 간 전환을 지원할 수 있습니다.

데모 3: 핫스팟 방지

마지막 데모에서는 고급 모니터링과 지능형 부하 분산을 통해 핫스팟을 줄이고 과부하 상황에서 클러스터를 보호하는 방법을 보여줍니다. 장애를 감지하고 과부하된 노드가 워크플로를 중단시키기 전에 이를 우회함으로써 기업은 일관된 처리량을 유지하고 핵심 AI 파이프라인을 안전하게 보호할 수 있습니다.

실무자를 위한 설계 참고 사항

S3 호환 스토리지 클러스터는 확장 가능한 AI, 머신 러닝 및 데이터 기반 애플리케이션을 지원하지만, 핫스팟 발생, 노드 유지 관리, 트래픽 패턴 변화, 수요가 많은 워크로드에서의 복원력 보장과 같은 고유한 과제를 수반합니다. BIG-IP는 이러한 과제를 효율적으로 해결할 수 있도록 유연하고 프로그래밍 가능한 트래픽 관리 기능을 제공합니다. 다음은 S3 환경에 맞게 BIG-IP를 최적화하여 확장성, 성능 및 유지 관리 격리를 확보하기 위한 7가지 필수 모범 사례입니다:

지능형 부하 분산 알고리즘 활용: 트래픽을 균등하게 분산하여 S3 클러스터에 핫스팟을 유발할 수 있는 라운드 로빈 부하 분산은 피하십시오. 동적 비율 또는 최소 연결과 같은 적응형 알고리즘을 사용하여 노드 상태와 워크로드 용량에 따라 트래픽을 지능적으로 분산함으로써 예측 가능한 성능을 보장하십시오.
유연한 HA 아키텍처 배포: 이 구성은 유지 관리 작업을 클라이언트 워크로드와 분리하여 가동 중단을 방지하는 동시에 내결함성을 극대화합니다. 액티브-액티브 배포를 사용하면 여러 BIG-IP 디바이스가 트래픽을 동시에 처리할 수 있어 지속적인 가용성을 보장하고 대규모 워크로드의 처리량을 높일 수 있습니다.
구성 자동화 사용: 자동화를 통해 배포 속도를 높이고, 확장을 간소화하며, 여러 환경에서 일관된 구성을 유지하는 데 따르는 복잡성을 줄일 수 있습니다. BIG-IP Application Services 3 Extension(BIG-IP AS3)과 BIG-IP Declarative Onboarding을 사용하여 BIG-IP 프로비저닝 및 구성을 자동화하십시오.
S3 엔드포인트에 고급 상태 모니터 활용: 사용자 지정 상태 모니터를 활성화하여 응답 시간, 오류율, 노드 용량 사용률 등 개별 S3 엔드포인트의 가용성과 성능을 확인합니다. BIG-IP는 성능이 저하되었거나 오프라인 상태인 노드를 우회하도록 트래픽을 자동으로 재라우팅하여 유지 관리 중에도 복원력을 보장하고 워크로드가 중단 없이 실행되도록 합니다.
TCP/TLS 최적화로 데이터 처리량 향상: 윈도우 스케일링 및 혼잡 제어와 같은 TCP 구성을 최적화하여 대규모 AI/ML 데이터 전송의 처리량을 향상합니다. BIG-IP의 S3 맞춤형 TCP 프로파일은 지연 시간을 최소화하여 암호화된 데이터를 안전하고 빠르게 전송할 수 있도록 합니다.
트래픽 맞춤화를 위한 데이터 플레인 프로그래밍 기능 활용: 맞춤형 프로그래밍 기능을 통해 트래픽을 세밀하게 제어하여 고유한 S3 워크로드 요구 사항에 필요한 성능과 유연성을 보장할 수 있습니다. BIG-IP의 이벤트 기반 iRules를 사용하여 헤더, 메타데이터 또는 개별 노드의 유지 관리 상태에 따라 트래픽을 동적으로 라우팅하세요.
로컬리티 인식 요청 라우팅 활성화: 로컬리티 인식 라우팅 정책을 사용하여 지리적 근접성 또는 지연 시간을 기준으로 스토리지 노드에 대한 트래픽의 우선순위를 지정합니다. 이를 통해 네트워크 오버헤드를 줄이고 S3 클러스터에 의존하는 전 세계 분산 워크로드의 응답 시간을 개선할 수 있습니다.

AI 데이터 파이프라인을 위한 전용 전송 계층

S3는 범용적이고 내구성 높은 스토리지를 제공하며, F5 BIG-IP 버전 21.0은 스토리지를 AI에 최적화된 최상위 딜리버리 계층으로 끌어올립니다. 그 결과, 불안정한 클라이언트 로직이나 사용자 지정 스크립트에 의존하지 않고도 모델 학습과 미세 조정을 지속하고 RAG 워크플로를 지원하는 고성능 데이터 파이프라인을 구현할 수 있습니다. BIG-IP v21.0은 현재 이용 가능합니다. 자세한 내용은 BIG-IP 버전 21.0 발표 블로그를 참조하세요. 또한 오늘의 보도 자료도 꼭 확인해 보세요.

F5의 AI에 대한 노력은 여기서 끝나지 않습니다. F5가 어디서나 AI 앱을 보호하고 제공하는 방법을 알아보세요.

작성자 소개

Hunter Smit제품 마케팅 수석 매니저 | F5

Hunter Smit은 F5에서 솔루션 및 전략 부문 제품 마케팅을 담당하는 시니어 매니저입니다. AI 인프라와 애플리케이션 보안을 비롯한 F5 포트폴리오 전반의 솔루션 마케팅을 이끌고 있으며, F5의 신흥 AI 데이터 전송 시장 진출을 주도하고 있습니다. Hunter는 Whitworth University 경영대학 자문위원회 위원이며, 제품 마케팅 겸임 강사로도 활동했습니다. Whitworth University에서 경영학 석사(MBA)와 경영학 학사 학위를 취득했습니다.

Hunter Smit의 다른 블로그 게시물

Mark Menger솔루션 아키텍트 | F5

Mark Menger는 AI 및 보안 기술 파트너십을 전문으로 하는 F5의 솔루션 아키텍트입니다. 그는 F5의 AI 레퍼런스 아키텍처 개발을 이끌며 안전하고 확장 가능한 AI 솔루션의 발전을 주도하고 있습니다. 글로벌 솔루션 아키텍트 및 솔루션 엔지니어로서의 경험을 바탕으로 F5의 보안 클라우드 아키텍처에 기여했으며, 분산형 4계층 아키텍처를 공동 개발했습니다. 『Solving IT Complexity』의 공동 저자인 그는 IT 과제 해결에 관한 전문성을 갖추고 있습니다. 이전에는 애플리케이션 개발자와 엔터프라이즈 아키텍트로 근무하며 최신 애플리케이션, 자동화, AI 투자 가치 실현 가속화에 주력했습니다.

Mark Menger의 다른 블로그 게시물

Fouad Chmainy솔루션 아키텍트

Fouad Chmainy의 다른 블로그 게시물