AI 및 머신 러닝(AI/ML) 워크로드는 기업의 운영 및 혁신 방식을 획기적으로 변화시키고 있습니다. Kubernetes는 컨테이너 오케스트레이션 및 관리의 사실상 표준으로, 하이브리드 멀티 클라우드 환경 전반에서 확장 가능한 대규모 언어 모델(LLM) 워크로드와 추론 모델을 구동하기 위한 최적의 플랫폼입니다.
Kubernetes에서 Ingress 컨트롤러는 컨테이너화된 애플리케이션을 제공하고 보호하는 데 핵심적인 역할을 합니다. Kubernetes 클러스터의 에지에 배포되어 사용자와 애플리케이션 간의 통신을 처리하는 중앙 지점 역할을 합니다.
이 블로그에서는 Ingress 컨트롤러와 F5 NGINX Connectivity Stack for Kubernetes가 AI/ML 워크로드의 모델 서빙, 실험, 모니터링 및 보안을 간소화하고 효율화하는 데 어떻게 도움이 되는지 살펴봅니다.
대규모 프로덕션 환경에 AI/ML 모델 배포
AI/ML 모델을 대규모로 배포할 때 Kubernetes의 기본 기능을 활용하면 다음과 같은 이점을 얻을 수 있습니다:
- AI/ML 애플리케이션의 릴리스 수명 주기를 가속화하고 간소화합니다.
- 다양한 환경에서 AI/ML 워크로드를 이식할 수 있도록 지원합니다.
- 컴퓨팅 리소스 활용의 효율성과 경제성을 개선합니다.
- 확장성을 확보하고 프로덕션 환경에 배포할 준비를 완료하세요.
- 비즈니스 SLA를 충족하도록 환경을 최적화합니다.
동시에 조직은 프로덕션 환경에서 AI/ML 모델을 대규모로 서빙하고, 실험하고, 모니터링하고, 보호하는 데 어려움을 겪을 수 있습니다.
- 복잡성 증가와 도구의 난립으로 인해 조직은 온프레미스, 클라우드 및 엣지의 Kubernetes 환경을 구성, 운영, 관리, 자동화하고 문제를 해결하는 데 어려움을 겪습니다.
- 저하된 사용자 경험은 Pod 장애 및 재시작, 자동 확장, 매우 높은 요청률과 같은 동적 이벤트로 인해 연결 시간 초과 및 오류가 발생하기 때문입니다.
- 성능 저하 및 다운타임이 발생하고, 집계된 보고 방식과 세분화된 실시간 및 과거 메트릭의 부재로 인해 복잡한 Kubernetes 환경에서 문제 해결이 더 느리고 어려워집니다.
- 사이버 보안 위협에 노출될 심각한 위험이 있습니다. 기존 보안 모델은 느슨하게 결합된 분산 애플리케이션을 보호하도록 설계되지 않았기 때문에 하이브리드 멀티 클라우드 Kubernetes 환경에서는 이러한 위험이 더욱 커집니다.
엔터프라이즈급 Ingress 컨트롤러인 F5 NGINX Ingress Controller를 사용하면 이러한 과제를 해결할 수 있습니다. Ingress 컨트롤러, 로드 밸런서, API 게이트웨이 기능을 하나로 통합한 도구를 활용하면 Kubernetes를 어디에서 실행하든 대규모 환경에서 가동 시간, 보안, 가시성을 향상할 수 있습니다. 또한 복잡성과 운영 비용도 줄일 수 있습니다.
NGINX Ingress Controller는 업계 최고 수준의 F5 Layer 7 애플리케이션 보호 기술과 긴밀하게 통합할 수도 있습니다. 이 기술은 LLM 애플리케이션에 대한 OWASP 10대 사이버 위협을 완화하고 AI/ML 워크로드를 DoS 공격으로부터 보호하는 데 도움이 됩니다.
AI/ML 워크로드를 위한 Ingress Controller의 이점
Ingress 컨트롤러는 다음 기능을 통해 프로덕션 환경에서 AI/ML 워크로드를 더 쉽고 효율적으로 배포하고 실행할 수 있도록 지원합니다:
- 모델 서빙 – Kubernetes 네이티브 부하 분산, 자동 확장, 속도 제한 및 동적 재구성 기능을 통해 서비스 중단 없이 애플리케이션을 제공합니다.
- 모델 실험 – 블루-그린 및 카나리 배포와 A/B 테스트를 구현하여 다운타임 없이 새 버전과 업그레이드를 출시합니다.
- 모델 모니터링 – 모델 메트릭을 수집, 시각화 및 분석하여 앱 상태와 성능을 더 정확하게 파악합니다.
- 모델 보안 – 사이버 보안 위협으로부터 앱을 보호할 수 있도록 사용자 ID, 인증, 권한 부여, 역할 기반 액세스 제어 및 암호화 기능을 구성합니다.
Kubernetes용 NGINX Connectivity Stack에는 NGINX Ingress Controller와 F5 NGINX App Protect가 포함되어 있어 AI/ML 애플리케이션을 실행하는 Kubernetes 클러스터와 사용자 간에 온프레미스 및 클라우드 환경에서 빠르고 안정적이며 안전한 통신을 제공합니다. 모든 Kubernetes 환경에서 모델 서빙, 실험, 모니터링 및 보안을 간소화하고 효율화하며, 클라우드 제공업체 및 사전 패키징된 Kubernetes 제품의 기능을 강화하여 대규모 환경에서 더 높은 수준의 보호, 가용성 및 관측 가능성을 제공합니다.
NGINX Connectivity Stack for Kubernetes 시작하기
NGINX는 고객의 요구 사항을 충족하고 Kubernetes 플랫폼의 보안, 확장성 및 가시성을 향상할 수 있는 포괄적인 도구와 구성 요소를 제공합니다.
지금 바로 Connectivity Stack for Kubernetes 30일 무료 평가판을 신청하여 시작할 수 있습니다.
작성자 소개
관련 블로그 게시물
시청하기: KubeCon North America 2023에서의 NGINX Gateway Fabric
이 영상에서는 KubeCon의 NGINX 부스를 찾아가, 저희가 공개한 Kubernetes Gateway API 구현을 살펴봅니다.
F5 NGINX로 대규모 WAF 플릿을 확인하고 관리하는 2가지 방법
앱 보안을 강화하는 두 가지 방법을 소개합니다. NGINX Management Suite를 통해 WAF 운영에 대한 가시성을 높이고, NGINX App Protect WAF를 활용해 코드형 보안을 구현하는 것입니다.
Ingress 컨트롤러 선택 가이드, 4부: NGINX Ingress Controller 옵션
개발 주체, 개발 철학, 프로덕션 환경 준비도, 보안 및 지원을 기준으로 어떤 NGINX Ingress 컨트롤러가 가장 적합한지 알아보세요.
진화하는 공격 환경에 NGINX App Protect Denial of Service가 적응하는 방법
NGINX App Protect Denial of Service(DoS)가 계층 7 DoS 공격을 방어하기 위해 완화 방법을 실시간으로 조정하는 방식을 설명합니다. 정상적인 사용자 행동과 서버 상태에 대한 모델을 생성하여 공격을 나타내는 이상 징후를 감지하고 맞춤형 완화 시그니처를 적용할 수 있습니다.
NGINX Instance Manager를 활용한 대규모 구성 업데이트 및 인증서 관리
NGINX Instance Manager 버전 1.0에는 두 가지 새로운 기능이 도입되었습니다. NGINX 인스턴스에 태그와 사용자 역할을 지정하면 전체 그룹에 구성을 한 번에 적용할 수 있습니다. 인증서 검사는 만료 예정인 인증서를 감지하여 서비스 중단을 방지할 수 있도록 인증서를 교체할 수 있게 해줍니다.
Netflix가 자사 CDN의 핵심으로 NGINX를 선택한 이유
Netflix가 글로벌 콘텐츠 전송 네트워크인 Open Connect의 스트리밍 미디어 기술로 NGINX를 선택한 이유를 NGINX 개발자 Gleb Smirnoff에게서 알아보세요.