Intel OpenVINO를 통한 AI 추론 보안 강화: Intel IPU, F5 NGINX Plus 및 Red Hat OpenShift 활용

Paul Pindell수석 솔루션 아키텍트 | F5

AI 추론 작업이 더 빠르게 실행될 뿐만 아니라, 설정과 유지 관리에 드는 노력을 최소화하면서 더욱 안전하게 수행되는 세상을 상상해 보세요. 너무 좋아서 믿기 어려우신가요? 최신 Intel OpenVINO 기반 솔루션은 Intel의 E2100 “Dayton Peak” 인프라 처리 장치(IPU), F5 NGINX Plus, Red Hat OpenShift를 통합하여 이를 현실로 구현합니다. 설치와 운영을 간소화하는 동시에 AI 워크로드를 안전하고 효율적으로 확장하려는 개발자와 기업을 위해 설계된 획기적인 구성입니다.

이제 이 퍼즐의 모든 조각이 어떻게 하나로 맞춰지는지, 그리고 이러한 통합이 AI 추론의 보안과 확장성에 획기적인 변화를 가져오는 이유를 자세히 살펴보겠습니다.

1. 핵심 AI 인프라 작업을 Intel IPU로 오프로드

이 구성은 핵심적으로 중요 인프라 작업을 Intel IPU로 오프로드하여 AI 추론 성능을 극대화하도록 설계되었습니다. 이를 통해 Intel OpenVINO 추론 서버를 실행하는 호스트 시스템은 빠르고 정확한 추론 결과 제공이라는 가장 중요한 작업에 리소스를 집중할 수 있습니다. F5 NGINX Plus 및 Red Hat의 Enterprise Linux OS, OpenShift, MicroShift와 결합된 이 시스템은 성능, 확장성, 보안 간에 독보적인 균형을 구현합니다.

핵심 워크플로는 다음과 같습니다. 암호화된 트래픽은 AI 클라이언트에서 Intel IPU에 직접 배포된 NGINX Plus로 전달됩니다. NGINX Plus는 트래픽 프록시 역할을 하며, 데이터를 복호화한 후 PCIe 버스를 통해 Dell R760 시스템에서 호스팅되는 Intel OpenVINO 추론 서버로 안전하게 라우팅합니다. 그런 다음 결과는 NGINX Plus를 통해 다시 전송되어 AI 클라이언트에 전달됩니다.

2. Intel IPU에서 인프라를 실행할 때의 주요 아키텍처상 이점

워크플로 자체도 매력적이지만, 아키텍처상의 이점은 그 가치를 한층 더 높여 줍니다. 인프라 작업을 IPU로 이전함으로써 이 솔루션은 성능상의 이점을 제공하는 동시에 관리자 간 책임을 명확하게 분담할 수 있도록 합니다.

Intel IPU에 NGINX Plus를 배포할 때 얻을 수 있는 중요한 이점 중 하나는 호스트 시스템의 CPU에서 인프라 작업을 오프로딩할 수 있다는 점입니다. 리소스를 많이 사용할 수 있는 트래픽 라우팅, 복호화, 액세스 제어 등의 작업은 전적으로 IPU에서 처리됩니다. 따라서 호스트 CPU는 추가 Intel OpenVINO 추론 모델 실행이나 리소스 집약적인 AI 프로세스 처리와 같은 애플리케이션별 워크로드에 집중할 수 있는 처리 여력을 훨씬 더 많이 확보하게 됩니다.

실제 환경에서는 이를 통해 고가의 고성능 서버 하드웨어를 더욱 효율적으로 활용할 수 있습니다. 호스트 CPU는 백그라운드 인프라 작업에 발목 잡히지 않고, 가장 중요한 워크로드를 처리하는 데 모든 성능을 집중할 수 있습니다.

이 솔루션의 또 다른 고유한 이점은 인프라 서비스와 애플리케이션 워크로드를 분리한다는 점입니다. NGINX Plus, 네트워크 관리, 액세스 제어와 같은 모든 인프라 작업은 Intel IPU에서 실행하고 Intel OpenVINO 추론 서버는 호스트에서 실행함으로써, 컨트롤 플레인의 책임 범위를 명확하게 구분했습니다.

Intel OpenVINO 애플리케이션 관리자는 추론 워크로드를 관리하고, AI 모델을 배포 및 확장하며, 애플리케이션 수준의 성능을 최적화할 책임이 있습니다. 한편 인프라 관리자는 Intel IPU 환경을 감독하고, 라우팅을 관리하며, FXP 규칙을 통해 액세스 제어를 적용하고, NGINX Plus 인스턴스를 구성하여 인프라 서비스가 안전하고 효율적으로 운영되도록 합니다.

이러한 업무 분리는 모호성을 없애고 조직 내 협업을 강화하며, 각 관리자가 자신의 전문 영역에 온전히 집중할 수 있도록 합니다.

이러한 이점을 종합하면, 이 솔루션은 실용적일 뿐만 아니라 리소스 활용도와 보안을 최고 수준으로 유지하면서 엔터프라이즈 AI 워크플로를 확장하는 데에도 효율적입니다.

3. Red Hat OpenShift 및 MicroShift: 자동화 및 간소화 지원

이 시스템의 두드러진 특징 중 하나는 Red Hat MicroShift와 OpenShift DPU Operator를 활용하여 구성과 확장을 사실상 별다른 노력 없이 수행할 수 있다는 점입니다. 솔직히 이런 자동화가 실제로 작동하는 모습을 보면 마법처럼 느껴집니다. 자세히 살펴보겠습니다.

클러스터는 두 개입니다. 하나는 호스트 시스템에서 실행되는 OpenShift 클러스터입니다. 구체적으로 말하면 Dell R760에서 실행되는 OpenShift 워커 노드입니다. 두 번째는 MicroShift 클러스터로, Intel IPU의 Arm 코어에 배포됩니다. 이 경량 버전의 OpenShift는 전체 Kubernetes 환경의 오버헤드 없이 컨테이너의 유연성을 제공합니다.

이러한 클러스터는 보이지 않는 곳에서 핵심 작업을 처리하는 DPU 오퍼레이터를 통해 함께 작동합니다. 클러스터 간에 서로 통신하며 활성 파드와 네트워크에 관한 데이터를 교환합니다. 이러한 연결은 보안 및 트래픽 규칙을 동적으로 관리하는 데 특히 중요합니다.

개발자의 작업을 훨씬 수월하게 해주는 핵심 기능은 바로 동적 규칙 생성입니다. 이전에는 PCIe 트래픽의 액세스 제어를 관리하는 데 사용되는 FXP 규칙을 설정하려면 수작업과 P4 프로그래밍 지식이 필요했습니다. 이제는 워크로드를 배포하기만 하면 오퍼레이터가 모든 작업을 자동으로 처리합니다:

적절한 태그가 지정된 OpenVINO 추론 Pod가 배포될 때마다 운영자가 새로운 FXP 규칙을 동적으로 생성합니다. 이러한 FXP 규칙은 PCIe 버스를 통한 통신을 허용하며, 워크로드가 확장되거나 축소되면 시스템이 액세스 규칙을 자동으로 조정하므로 구성을 일일이 추측할 필요가 없습니다.

이러한 수준의 자동화 덕분에 개발자부터 시스템 관리자까지 누구나 복잡한 인프라 구성에 얽매이지 않고 AI 워크로드에 집중할 수 있습니다.

4. 실제 AI 추론 워크플로

이제 이 전체 시스템이 AI 추론을 위해 어떻게 작동하는지 본격적으로 살펴보겠습니다. Intel OpenVINO 딥 러닝 배포 툴킷을 사용해 이미지 속 동물의 종을 인식하는 사례를 예로 들어 보겠습니다. 워크플로는 다음과 같은 단계로 진행됩니다.

먼저 암호화된 이미지 데이터가 AI 클라이언트에서 GRPCS API 호출을 통해 전송됩니다. Intel IPU에서 실행되는 NGINX Plus는 데이터를 복호화하고 트래픽 프록시 역할을 합니다. 그런 다음 이 트래픽은 PCIe 버스를 통해 Dell R760에서 호스팅되는 Intel OpenVINO 추론 서버로 안전하게 전달됩니다. Intel OpenVINO 추론 서버는 ResNet AI 모델을 사용해 이미지를 처리하고 각 사진 속 동물의 종을 판별합니다. 예를 들어 “이것은 골든 리트리버입니다” 또는 “저것은 태비 고양이입니다”라고 추론할 수 있습니다. 결과는 동일한 경로를 따라 NGINX Plus를 거쳐 클라이언트로 다시 전송됩니다.

이 시스템은 여러 AI 클라이언트가 이미지 배치를 동시에 처리하도록 구성할 수 있습니다. 여러 클라이언트가 추론 요청을 반복적으로 실행하더라도 시스템은 보안과 원활한 작동, 빠른 응답성을 유지합니다.

5. 지능형 액세스 제어를 통한 보안 강화

이 시스템의 주요 이점 중 하나인 보안에 대해 살펴보겠습니다. Intel IPU는 단순히 트래픽을 처리하는 데 그치지 않고, 인프라와 호스트에서 실행되는 추론 워크로드 간의 통신을 능동적으로 보호합니다.

작동 방식은 다음과 같습니다. IPU는 FXP 규칙을 사용하여 PCIe 인터페이스를 통과하는 트래픽을 제어합니다. 동적으로 생성되고 DPU 운영자가 관리하는 이러한 규칙에 의해 승인된 트래픽만 통과할 수 있습니다. 이를 통해 안전한 통신을 보장하는 동시에 호스트 시스템에 대한 무단 액세스를 차단합니다. 이러한 다계층 보안은 특히 AI 파이프라인을 통해 민감한 데이터를 처리하는 기업의 위험을 완화하는 데 도움이 됩니다.

6. 이 솔루션이 돋보이는 이유

제가 보기에 이 솔루션의 진정한 매력은 성능, 자동화, 보안이 완벽하게 조화를 이룬다는 데 있습니다. 인프라 관리는 IPU에서 독립적으로 수행하고 추론 워크로드는 호스트 머신에서 실행하도록 구성함으로써 Intel, Red Hat, F5는 효율성과 보안성을 모두 갖춘 환경을 구현했습니다.

이 구성이 판도를 바꾸는 이유는 다음과 같습니다:

• 간소화된 설정:수동 구성은 이제 필요 없습니다. DPU 오퍼레이터와 동적 규칙 생성 기능을 통해 사실상 플러그 앤 플레이에 가까운 방식으로 시스템을 사용할 수 있습니다.
• 동적 확장:추론 파드를 1개 실행하든 20개 실행하든 통신 및 보안 규칙이 자동으로 조정됩니다.
• 강화된 보안: 인프라와 워크로드를 명확히 분리하고 PCIe 버스에 대한 액세스 제어를 결합하여 강력한 보안 경계를 구축합니다.
• 리소스 활용 최적화: 인프라 작업을 IPU로 오프로드하면 호스트 CPU가 우선순위가 높은 컴퓨팅 작업에 집중할 수 있습니다.
• 명확한 책임 분담: 관리자는 서로의 업무를 침해하지 않고 애플리케이션 또는 인프라 등 각자의 영역에 집중할 수 있습니다.

AI 추론의 획기적인 도약

이 Intel OpenVINO 기반 솔루션은 하드웨어와 소프트웨어를 매끄럽게 통합합니다. Intel의 E2100 IPU, Red Hat OpenShift, F5 NGINX Plus는 보안과 확장성을 강화하는 동시에 복잡한 AI 추론 파이프라인을 간소화하는 업계 최고 수준의 모범 사례를 제시합니다.

개발자, 인프라 아키텍트, 기업 의사 결정권자 등 누구에게나 이 솔루션은 현대적인 컨테이너 환경에서 AI 워크로드를 관리할 수 있는 실용적인 청사진을 제공합니다. 관심이 생겼다면 Intel, F5 또는 Red Hat에 문의하여 이 구성을 워크플로에 어떻게 적용할 수 있는지 알아보세요.

이 기술이 어떻게 발전해 나가는지 지켜보는 것은 정말 흥미롭습니다. 저 역시 앞으로 어떤 혁신이 이어질지 무척 기대됩니다. 자세한 내용은 LinkedIn에서 제 데모 동영상을 시청해 주세요.

작성자 소개

Paul Pindell수석 솔루션 아키텍트 | F5

Paul Pindell은 F5의 수석 아키텍트로, 기술 제휴 부문에서 F5 제품 포트폴리오 전반의 기술 파트너십을 총괄하고 있습니다. 2019년부터는 F5 최초의 혁신 프로젝트 출범을 지원하는 등 기업 전략 이니셔티브에서도 핵심적인 역할을 맡아 왔습니다. Paul은 F5의 AI 전략 전담팀을 이끌며 F5의 기존 제품을 활용해 AI 애플리케이션을 안전하게 보호하고 제공하는 방안을 수립하는 데 주력했습니다. 이후에는 AI 애플리케이션 제공 및 보안을 지원하는 데 필요한 핵심 구성 요소, 과제, 위험 요소, 파트너 솔루션을 제시하는 F5의 AI 참조 아키텍처 개발에도 기여했습니다. Paul은 OPI Summit, OCP Global Summit, Intel InnovatiON, Open Source Summit, Red Hat Tech Exchange를 비롯해 미국과 EMEA 지역에서 열린 여러 VMworld 컨퍼런스 등 다양한 업계 행사에서 기조연설과 세부 세션 발표를 자주 맡고 있습니다. 또한 오픈 소스 프로젝트의 창립자이자 메인테이너로 활동하고 있으며, Open Programmable Infrastructure Project의 아웃리치 위원회 의장을 맡고 있습니다. 이전에는 Symantec의 Antivirus Response 데이터 센터와 보안 소프트웨어 테스트 랩의 데이터 센터 운영을 총괄했습니다.

Paul Pindell의 다른 블로그 게시물