정확한 결과를 얻기 위해 AI 모델에 대규모로 투자하고 모델을 학습하고 조정하고 있습니다. 하지만 최적의 결과를 가로막는 중대한 병목 현상이 있습니다. 바로 데이터 수집입니다. 텍스트, 이미지, 오디오, 동영상 등 방대한 양의 멀티모달 학습 데이터를 여러 스토리지 위치에서 AI 모델로 전송해야 합니다. 이 과정이 비효율적이면 비용이 증가하고 학습 작업이 지연될 수 있습니다. 문제는 많은 트래픽 관리 솔루션이 AI의 역동적인 특성을 처리하도록 설계되지 않았다는 점입니다.
첫째, 데이터 소스가 온프레미스 데이터 센터, 프라이빗 클라우드 스토리지, 엣지 로케이션을 비롯한 하이브리드 멀티클라우드 환경 전반에 분산되어 있습니다. 이렇게 다양한 소스에서 AI 인프라로 테라바이트 또는 페타바이트 규모의 학습 데이터를 이동하려면 트래픽 관리가 복잡해지고 데이터 전송 비용이 많이 듭니다.
둘째, 비효율적인 GPU 활용 문제를 해결해야 합니다. 데이터 수집이 병목 현상을 일으키면 고가의 GPU 리소스가 유휴 상태로 남아 운영 비용이 증가하고 모델 학습 주기가 길어집니다. GPU를 최대 용량으로 가동하려면 일관된 고성능 데이터 스트림이 필요합니다.
셋째, 중요한 학습 데이터를 네트워크를 통해 전송하는 동안 보안과 규정 준수를 유지해야 합니다. 보호 대상인 고객 데이터부터 경쟁 우위를 제공하는 지적 재산에 이르기까지 귀사의 독점 데이터는 민감하며, 보안 침해가 발생하면 비즈니스에 치명적인 결과를 초래할 수 있습니다.
AWS를 활용한 AI 학습
AWS는 워크플로 오케스트레이션을 위한 Amazon SageMaker Pipelines, 실시간 데이터 스트리밍을 위한 Amazon Data Firehose, 지속적인 데이터 복제를 위한 AWS Database Migration Service 등의 서비스를 통해 AI 학습 이니셔티브를 위한 견고한 기반을 제공합니다. 이러한 AWS 네이티브 서비스는 필수적인 데이터 이동 작업을 처리하며, 수천 개의 워크플로를 동시에 지원할 수 있도록 확장 가능합니다.
““F5의 애플리케이션 전송 및 보안 전문성과 AWS AI 개발 서비스를 결합하면, 특정 요구 사항에 맞게 최적화된 안전하고 효율적인 데이터 파이프라인을 구축할 수 있습니다.””
하지만 AWS 서비스는 데이터 수집과 모델 학습 자동화에 탁월한 반면, 하이브리드 멀티클라우드 환경, 엄격한 보안 요구 사항, 고성능 트래픽 최적화가 수반되는 복잡한 시나리오에서는 AWS를 넘어서는 기능이 필요할 수 있습니다.
F5가 성공을 앞당깁니다
바로 이 지점에서 F5 Application Delivery and Security Platform (ADSP)이 트래픽 관리 및 안전한 멀티클라우드 네트워킹을 통해 AWS 인프라를 보완하여 AI 학습 목표를 더욱 효과적으로 달성할 수 있도록 지원합니다.
F5 ADSP의 일부인 F5 BIG-IP Virtual Edition(VE)은 대용량 데이터 전송에 맞게 특별히 조정된 TCP 최적화 기반의 지능형 부하 분산을 제공하여 GPU 활용률을 극대화합니다. 서버 상태 모니터링 및 용량 기반 라우팅과 같은 기능은 GPU에 일관된 데이터 스트림이 전달되도록 하여 비용이 많이 드는 유휴 시간을 줄여 줍니다. SSL 오프로딩을 FastL4 및 Fast HTTP 프로파일과 함께 사용하면 데이터 이동이 더욱 빨라져 하드웨어 투자 효과를 극대화할 수 있습니다.
F5 플랫폼의 일부인 F5 Distributed Cloud Network Connect는 분산된 데이터 소스와 AWS 간에 안전한 레이어 3 연결을 제공하여 하이브리드 멀티클라우드 연결 문제를 해결합니다. 원클릭 프로비저닝으로 온프레미스 및 클라우드 기반 스토리지를 AWS에 직접 연결하여 복잡한 네트워크 구성을 없앨 수 있습니다. NetApp 스토리지 시스템을 사용하는 경우 F5는 NFS(Network File System), SMB(Server Message Block), Amazon S3 API를 비롯한 여러 프로토콜과 원활하게 통합됩니다. 인터넷, 프라이빗 백본 또는 비공개 F5 글로벌 네트워크를 통해 소스를 연결할 수 있습니다.
보안 및 제어 강화
F5 ADSP는 하이브리드 환경 전반에서 학습 데이터를 포괄적으로 보호합니다. 분산 서비스 거부(DDoS) 공격 완화, 웹 애플리케이션 및 API 보호, 중앙 집중식 인증 및 권한 부여를 통한 완전한 SSL/TLS 검사를 제공합니다. 이를 통해 민감한 데이터 처리에 관한 규정 준수 요구 사항을 충족하는 동시에 모든 환경에서 일관된 보안 정책을 유지할 수 있습니다.
F5 트래픽 최적화 기능을 사용하면 GPU 및 데이터 전송 비용을 모두 관리할 수 있습니다. 지능형 라우팅은 환경 간에 데이터를 효율적으로 이동하도록 지원하며, 고급 압축 및 캐싱 기능은 대역폭 사용량을 줄여 줍니다. 성능을 유지하면서 데이터 파이프라인을 지속적으로 모니터링하고 최적화하여 비용 초과를 방지할 수 있습니다.
AI 성공을 향한 여정
F5의 애플리케이션 전송 및 보안 기능과 AWS AI 개발 서비스를 결합하면 안전하고 효율적이며 특정 요구 사항에 최적화된 데이터 파이프라인을 구축할 수 있습니다. 이러한 통합 접근 방식을 통해 다음과 같은 이점을 얻을 수 있습니다:
- GPU에 학습 데이터가 지속적으로 공급되도록 유지
- 지능형 트래픽 관리를 통해 인프라 비용 절감
- 하이브리드 환경 전반에서 보안 및 규정 준수 유지
- 데이터 볼륨이 증가해도 안심하고 AI 이니셔티브를 확장하세요
필요한 곳에 필요한 시점에 방대한 양의 데이터를 안정적으로 제공할 수 있는 강력한 인프라를 갖추면 AI 학습 이니셔티브를 더 짧은 시간 안에 성공적으로 추진할 가능성이 높아집니다. F5와 AWS의 협력을 통해 데이터 파이프라인 인프라가 안정적이고 안전하며 비용 효율적으로 운영될 것이라는 확신을 바탕으로 혁신적인 AI 모델 개발에 집중할 수 있습니다.
자세한 내용은 F5 on AWS 개요 페이지를 참조하세요.
또한 API 보안을 통해 AWS에서 AI 혁신을 보호하는 방법을 다룰 이 시리즈의 다음 블로그도 기대해 주세요.
작성자 소개
관련 블로그 게시물
성평등을 향한 여정: 사이버 보안 분야에서 성공적인 커리어를 개척하는 방법에 관한 Jenn Gile과의 Q&A
F5의 ‘성평등을 향한 여정’ 시리즈 네 번째 Q&A에서는 Rachael Shah와 NGINX 제품 마케팅 책임자 Jenn Gile이 사이버 보안 직종에 대한 오해를 바로잡고, 사이버 보안 분야의 성별 격차를 해소하기 위한 조언과 그 이점에 대해 이야기합니다.
TLS 검사에서 피터 파커 원칙 다루기
“큰 힘에는 큰 책임이 따른다.” 볼테르와 처칠도 이와 비슷한 말을 남겼지만, 이 문구는 스파이더맨 코믹스에서 벤 삼촌의 말로 가장 널리 알려져 있습니다. 물론 이 문구가 문화적으로 널리 통용되는 이유 중 하나는 TLS 검사를 비롯해 수많은 상황과 주제에 적용할 수 있기 때문입니다.
Venafi와 F5를 통한 머신 아이덴티티 보호
‘머신 아이덴티티’란 간단히 말해 자동화된 프로세스가 자신의 신원을 식별할 수 있도록 하고, 다른 자동화 시스템과 프로세스가 관련 리소스에 적절한 수준의 접근 권한을 부여하도록 하는 방법을 의미합니다. 이 개념 자체는 새로운 것이 아닙니다. 비교적 새로운 점은 이를 구현해야 하는 규모입니다.
마이너와 미니언: 데이터 유출만이 비용을 초래하는 것은 아닙니다
물론 데이터 유출은 더 큰 비용을 초래할 수 있고(적어도 지금은), 실패 사실을 세상에 드러낼 수밖에 없게 합니다(통지 의무가 있으니까요). 하지만 보안을 단순히 데이터 노출 문제로만 봐서는 안 됩니다. 요즘은 데이터가...
내 클라우드에서 나가!
F5의 Jay Kelley가 전하는 최신 소식에는 Microsoft Office 365용 신규 ID 및 액세스 솔루션을 배포할 때 고려해야 할 사항이 정리되어 있습니다.
Shift(웹 앱) 보안 레터
웹 앱 보안을 개발 초기 단계로 앞당기세요. F5 블로그에서 DevOps 파이프라인 초기에 보안을 통합하여 취약점을 예방하고 시간을 절약하는 방법을 알아보세요.