F5, Intel, Dell로 AI 추론에 간편성, 보안, 성능을 더하세요

Kunal Anand최고제품책임자 | F5

조직은 AI 기반의 새로운 앱과 워크플로를 구축하고자 합니다. 하지만 이를 성공적으로 운영하기란 쉽지 않을 수 있습니다. 다양한 AI 프레임워크와 앱 환경은 개발자와 보안 팀에 복잡성을 가중합니다. 이들에게는 빠른 추론을 더욱 쉽게 구축하고 실행하며 보호할 수 있는 솔루션이 필요합니다.

AI 개발 및 보안 간소화

Intel의 OpenVINO™ 툴킷은 설치 공간을 줄이고 한 번 작성한 코드를 어디서나 배포할 수 있는 방식을 제공하면서 AI 추론을 가속하는 오픈 소스 툴킷입니다. 개발자는 비교적 적은 코드만으로 확장 가능하고 효율적인 AI 솔루션을 만들 수 있습니다. TensorFlow, PyTorch, ONNX 등 널리 사용되는 프레임워크로 학습된 AI 모델을 사용할 수 있습니다. 개발자는 OpenVINO를 통해 먼저 모델을 변환한 후, 응답 속도를 높이기 위해 모델을 추가로 최적화하고 압축할 수 있습니다. 그런 다음 OpenVINO 런타임을 애플리케이션에 내장하여 AI 기능을 구현하면 AI 모델을 배포할 준비가 완료됩니다. 개발자는 AI가 적용된 애플리케이션을 경량 컨테이너를 통해 데이터 센터, 클라우드 또는 엣지의 다양한 하드웨어 아키텍처에 배포할 수 있습니다.

개발자는 모델을 애플리케이션과 함께 호스팅하거나 애플리케이션에 임베드하는 방식을 원하지 않을 수 있습니다. 애플리케이션의 모델은 수시로 업데이트해야 할 수 있으며, 애플리케이션에서 제공하는 기능을 구현하기 위해 여러 모델을 실행해야 할 수도 있습니다. OpenVINO는 클라이언트-서버 아키텍처에서 모델을 제공하는 소프트웨어 정의 고성능 시스템인 OpenVINO 모델 서버를 통해 이러한 요구 사항을 해결합니다. OpenVINO 모델 서버의 이점은 다음과 같습니다.

1. 배포 용이성: Docker를 사용하는 컨테이너화된 아키텍처 덕분에 OpenVINO 모델 서버를 통한 모델 배포가 더욱 간편하고 확장 가능해집니다. 또한 하드웨어 구성과 종속성의 복잡성을 추상화합니다.
2. 확장성: OpenVINO 모델 서버는 높은 추론 부하를 처리하고 필요에 따라 수평으로 확장할 수 있도록 클러스터 환경에 배포할 수 있습니다. 이러한 확장성 덕분에 과도한 워크로드에서도 일관된 추론 성능을 유지할 수 있습니다.
3. 원격 추론: OpenVINO 모델 서버는 원격 추론을 지원하므로 클라이언트가 원격 서버에 배포된 모델에서 추론을 수행할 수 있습니다. 이 기능은 분산 애플리케이션이나 클라이언트 장치의 리소스가 제한되어 있어 강력한 서버에서 추론을 수행해야 하는 경우에 유용합니다.
4. 모니터링 및 관리: OpenVINO 모델 서버는 모니터링 및 관리 기능을 제공하여 관리자가 추론 성능과 리소스 사용률을 추적하고 배포된 모델을 효과적으로 관리할 수 있도록 합니다.

OpenVINO는 AI 모델의 최적화, 배포 및 확장을 간소화하지만, 프로덕션 환경에서 실행하려면 보안도 필요합니다. F5 NGINX Plus는 리버스 프록시로 작동하여 AI 모델 서버를 위한 트래픽 관리 및 보호 기능을 제공합니다. 고가용성 구성과 능동 상태 점검을 통해 NGINX Plus는 앱, 워크플로 또는 사용자의 요청이 정상 작동 중인 OpenVINO 모델 서버에 도달하도록 보장할 수 있습니다. 또한 HTTPS 및 mTLS 인증서를 사용하여 성능 저하 없이 사용자 애플리케이션과 모델 서버 간의 통신을 암호화할 수 있습니다.

동일한 호스트 서버 또는 가상 머신에 배포하면 NGINX Plus는 수신 트래픽을 필터링하고 업스트림 컨테이너의 상태를 모니터링합니다. 또한 콘텐츠 캐싱을 제공하여 성능을 높이고 모델 서버의 작업 부담을 줄입니다. 이 조합은 효율적인 보안을 제공하지만, 단일 CPU에 배포할 경우 NGINX Plus와 OpenVINO 모델 서버가 리소스를 두고 경합해야 할 수 있습니다. 이로 인해 처리 속도가 느려지거나 성능이 저하될 수 있습니다.

AI 모델 성능 가속

가상 스위칭, 보안, 스토리지와 같은 인프라 서비스는 상당한 CPU 사이클을 소모할 수 있으므로, Intel은 CPU 코어의 부담을 줄여 애플리케이션 성능을 향상하는 Intel® Infrastructure Processing Unit(Intel® IPU)을 개발했습니다. Intel IPU는 데이터 센터에서 네트워킹 및 스토리지 인프라 기능을 안전하게 가속하여 시스템 수준의 리소스를 지능적으로 관리하는 프로그래밍 가능한 네트워크 장치입니다. Intel® Xeon® 프로세서가 탑재된 Dell PowerEdge R760 서버와 호환되며, 컴퓨팅 집약적 워크로드에 필요한 성능과 유연성을 제공합니다. Dell iDRAC 통합 관리 컨트롤러와 연동하여 IPU의 폐루프 열 제어 기능을 제공합니다.

Dell PowerEdge R760 랙 서버에 Intel IPU를 사용하면 OpenVINO 모델 서버와 F5 NGINX Plus 모두의 성능을 향상할 수 있습니다. Intel IPU에서 NGINX Plus를 실행하면 Intel IPU의 하드웨어 가속기를 통해 뛰어난 성능과 확장성을 확보할 수 있습니다. 또한 이 조합을 사용하면 AI 모델 서버에서 CPU 리소스를 활용할 수 있습니다.

Intel IPU를 NGINX Plus와 통합하면 NGINX Plus와 OpenVINO 모델 서버 사이에 보안 에어 갭이 형성됩니다. 이 추가 보안 계층은 잠재적인 공통 취약점으로부터 보호하여 AI 모델의 민감한 데이터를 안전하게 지키는 데 도움이 됩니다.

엣지에서 AI 활용

F5, Intel, Dell의 통합 솔루션을 사용하면 엣지에서 AI 추론을 더욱 손쉽게 지원할 수 있습니다. Intel IPU에서 NGINX Plus를 사용하면 응답 속도와 안정성이 향상되어 비디오 분석 및 IoT와 같은 엣지 애플리케이션을 더욱 효과적으로 지원할 수 있습니다.

이 솔루션은 캐싱 및 콘텐츠 전송이 최적화된 콘텐츠 전송 네트워크에도 적합하며, 여러 환경에서 안정성이 요구되는 분산형 마이크로서비스 배포도 지원합니다.

F5, 인텔, 델과 함께 AI 보안 및 성능 가속화

하드웨어와 소프트웨어를 결합한 솔루션으로 어디서나 고성능 AI 추론을 안전하고 일관되게 구현하세요. 가용성과 성능을 유지하면서 데이터 센터, 클라우드 또는 엣지 사이트에 AI 추론을 손쉽게 배포하여 사용자와 AI 기반 애플리케이션을 지원할 수 있습니다.

F5와 Intel의 파트너십에 대해 자세히 알아보려면 f5.com/intel을 방문하세요.

작성자 소개

Kunal Anand최고제품책임자 | F5

Kunal Anand는 최고제품책임자(CPO)로서 F5의 제품 조직을 이끌고 있습니다. 제품 비전, 전략 및 실행을 총괄하며, 고객의 중대한 과제를 해결하고 탁월한 경험을 제공하는 혁신적인 솔루션의 개발을 주도합니다. 이전에는 최고기술·AI책임자로서 회사의 기술 및 AI 전략과 비전을 수립했습니다. F5에 합류하기 전에는 Imperva에서 최고기술책임자(CTO)와 최고정보보안책임자(CISO)를 겸임했습니다. Kunal은 2013년에 공동 창업한 애플리케이션 보안 스타트업 Prevoty가 2018년 Imperva에 인수되면서 Imperva에 합류했습니다. Prevoty 이전에는 BBC Worldwide에서 기술 담당 이사를 역임했습니다. Kunal은 혁신과 기술 분야에서 풍부한 경험과 전문성을 갖추고 있으며, Gravity, MySpace 및 NASA 제트추진연구소에서 보안, 데이터, 기술 및 엔지니어링 팀을 이끄는 직책을 맡았습니다. Kunal은 모델 학습, AI 기반 알고리즘을 활용한 제품 개선, AI 아키텍처 설계 및 구현 등 AI와 머신러닝 분야에서 15년 이상의 경험을 보유하고 있습니다. Kunal은 Babson College에서 컴퓨터 과학 학사 학위를 취득했습니다.

Kunal Anand의 다른 블로그 게시물