AI 인프라는 인공지능(AI) 및 머신러닝(ML) 워크로드를 대규모로 개발, 학습, 배포 및 관리하는 데 필요한 특수 하드웨어와 소프트웨어 시스템의 조합을 의미합니다. 강력한 AI 인프라를 통해 개발자는 챗봇과 가상 비서, 자율주행차, 의료 영상 분석, 정밀 농업, 은행 거래 사기 방지를 위한 이상 탐지 등 다양한 AI 및 ML 애플리케이션을 효과적으로 개발하고 배포할 수 있습니다.
이 블로그 게시물에서 AI 인프라의 사례를 살펴보고, AI 인프라의 구성 요소와 AI 워크로드를 이루는 요소를 알아보며, AI 인프라가 기존 IT 인프라와 어떻게 다른지 확인해 보세요. 또한 AI 인프라를 구축하고 최적화하며 보호하는 방법도 알아봅니다.
“AI 애플리케이션은 데이터를 처리하고 컴퓨팅 리소스를 사용하는 방식에서 기존 애플리케이션과 근본적으로 다릅니다. 기존 IT 시스템은 AI 및 ML 워크로드의 고유한 요구 사항을 처리하도록 설계되지 않았습니다.”
AI 인프라와 IT 인프라 비교
우선, AI에는 왜 별도의 컴퓨팅 인프라가 필요할까요? AI 애플리케이션은 데이터를 처리하고 컴퓨팅 리소스를 사용하는 방식에서 기존 애플리케이션과 근본적으로 다르며, 기존 IT 시스템은 AI 및 ML 워크로드의 고유한 요구 사항을 처리하도록 설계되지 않았습니다.
AI의 요구 사항을 충족하려면 AI 수명 주기에 맞춘 전문 인프라가 필요하지만, 이러한 요구로 인해 AI 및 ML 투자의 증가세가 둔화되지는 않고 있습니다. F5 2025 애플리케이션 전략 현황 보고서에 따르면, 설문에 응답한 조직의 96%가 현재 AI 모델을 배포하고 있습니다. 또한 McKinsey의 AI 현황 설문조사 응답자 중 71%는 소속 조직이 비즈니스 업무에 생성형 AI를 정기적으로 사용한다고 답했습니다.
AI에는 막대한 컴퓨팅 성능이 필요합니다. AI 워크로드는 대량의 데이터를 소비하고 생성하며, 이러한 작업은 실시간으로 이루어지는 경우가 많습니다. 예를 들어, 생성형 AI 애플리케이션을 구동하는 딥 러닝 모델(LLM)을 학습하려면 수백만 개의 매개변수와 복잡한 수학 연산을 처리해야 할 수 있습니다. 생성형 AI 인프라에는 특수 고처리량 프로세서, 확장 가능하고 빠르게 액세스할 수 있는 스토리지, 지연 시간이 짧은 메모리 액세스, 고대역폭 네트워킹이 필요합니다.
이 인프라는 AI 파이프라인의 각 단계에서 AI 애플리케이션의 모든 핵심 구성 요소를 지원하여, 프로세스 전반에 걸쳐 성능과 확장성, 응답성을 보장해야 합니다. 이는 AI 모델에 입력할 데이터를 수집하는 과정인 데이터 수집부터 시작됩니다. 이 단계에서는 처리량이 많은 데이터 스트림을 효율적으로 처리할 수 있도록 강력한 트래픽 관리 기능과 충분한 대역폭이 필요합니다.
데이터 수집 후에는 학습 데이터 세트를 사용해 새로운 AI 모델을 반복적으로 생성하는 모델 학습이 이루어집니다. 인프라는 모델이 특정 작업을 수행하면서 높은 정확도를 달성하도록 개선할 수 있는 강력한 컴퓨팅 성능을 제공해야 합니다. 추론은 프런트엔드 애플리케이션이 학습된 AI 모델과 상호 작용하는 런타임 단계입니다. 애플리케이션이 모델에 입력을 전송하면 모델은 요청을 처리하고 응답을 반환합니다.
에이전틱 시스템은 AI가 데이터 처리와 요청/응답 상호작용을 넘어 사람의 개입 없이 선제적으로 행동하도록 합니다. 에이전틱 AI를 지원하려면 고급 오케스트레이션과 실시간 의사 결정 역량이 필요합니다.
많은 AI 애플리케이션이 엣지에서 작동하며 센서, 카메라, 산업용 기계와 같은 IoT 기기에서 분석과 자동화를 지원합니다. 이러한 실시간 사용 사례에는 데이터 소스와 가까운 곳에서 지연 시간이 짧은 분산 처리를 수행하도록 최적화된 인프라가 필요합니다.
AI 인프라와 IT 인프라의 차이점은 무엇일까요? AI 인프라는 특수 하드웨어와 데이터 플랫폼을 활용하여 가속 컴퓨팅을 구현하고 AI 워크로드의 높은 컴퓨팅 요구 사항을 지원합니다. 예를 들어, 범용 워크로드를 처리하기 위해 일반적인 IT 시스템에서 주로 사용하는 기존 중앙 처리 장치(CPU) 대신 그래픽 처리 장치(GPU)를 활용합니다. GPU는 병렬 처리에 최적화되어 있습니다.
AI 인프라 솔루션에는 머신 러닝 라이브러리와 프레임워크를 비롯한 전용 소프트웨어도 포함되며, 이는 AI 모델을 개발하고 학습시키고 배포하는 데 필수적입니다. 이러한 도구는 엔터프라이즈 애플리케이션과 데이터 관리에 더 중점을 두는 기존 IT 스택에서는 일반적으로 찾아보기 어렵습니다.
AI 인프라 스택은 흔히 AI 팩토리라고 불리며, 반복적이고 대개 자동화된 일련의 공정을 통해 제품을 생산하는 전통적인 제조 공장에 빗댄 개념입니다. 다만 AI 팩토리가 생산하는 제품은 지능입니다. NVIDIA의 창립자 겸 CEO인 젠슨 황의 말을 인용하면, “AI는 이제 인프라입니다. 그리고 이 인프라는 인터넷이나 전기와 마찬가지로 공장이 필요합니다. 이러한 공장이 본질적으로 오늘날 우리가 구축하는 것입니다. 과거의 데이터 센터와는 다릅니다. … 여기에 에너지를 투입하면 엄청난 가치를 지닌 무언가가 생산됩니다. …”
AI 인프라의 구성 요소
AI 및 ML 워크로드를 효과적으로 지원하기 위해 조직은 특화된 컴퓨팅, 스토리지 및 소프트웨어 기능을 포함하는 전용 AI 팩토리 인프라 아키텍처를 활용합니다.
이러한 컴퓨팅 리소스에는 다음이 포함됩니다:
- GPU. AI 인프라의 핵심인 GPU는 병렬 처리를 지원하며 복잡한 AI 모델을 학습하고 실행하는 데 필수적입니다. 수천 개의 코어를 갖춘 GPU는 여러 작업을 동시에 수행하여 성능을 획기적으로 향상합니다. NVIDIA는 AI 인프라용 GPU 분야에서 가장 널리 사용되는 공급업체 중 하나입니다.
- TPU(텐서 처리 장치). Google에서 개발한 TPU는 머신 러닝 및 딥 러닝 연산에 최적화된 특수 AI 가속기입니다. 높은 처리량과 짧은 지연 시간을 제공하므로 대규모 AI 애플리케이션의 학습과 추론 모두에 적합합니다.
데이터 저장 및 처리 리소스에는 다음이 포함됩니다:
- 확장 가능한 스토리지 솔루션. AI 모델에는 방대한 양의 학습 데이터가 필요하므로, 데이터 스토리지는 AI 인프라를 구현하는 데 필수적인 요소입니다. 클라우드 기반 또는 온프레미스 데이터베이스, 데이터 레이크, 분산 파일 시스템은 AI 워크플로에 사용되는 데이터의 규모, 다양성, 처리 속도를 지원할 수 있도록 뛰어난 확장성을 갖춰야 합니다.
- 데이터 처리 프레임워크. AI용 데이터를 준비하려면 데이터 세트를 자동으로 필터링하고 정제해야 합니다. Pandas, NumPy, SciPy와 같은 도구는 일반적인 데이터 준비 작업을 자동화하여 이 과정을 간소화합니다.
머신 러닝 소프트웨어 리소스에는 다음이 포함됩니다:
- 머신 러닝 라이브러리 및 프레임워크. 이러한 사전 구축된 도구 모음은 AI 모델의 설계, 학습 및 배포를 간소화합니다. TensorFlow 및 PyTorch와 같은 프레임워크는 재사용 가능한 구성 요소와 최적화된 알고리즘을 제공하여 개발 속도를 높이고 복잡성을 줄여 줍니다.
- 머신 러닝 운영(MLOps) 플랫폼. MLOps 도구는 머신 러닝 작업을 자동화하고 데이터 수집부터 모델 학습, 검증, 배포, 문제 해결 및 모니터링에 이르는 전체 모델 수명 주기를 지원합니다.
위에서 설명한 AI 팩토리 인프라 솔루션은 AI 애플리케이션의 개발, 배포 및 관리를 지원하는 통합 시스템과 도구로, 조직이 AI 모델을 더욱 효율적이고 안전하게 대규모로 구축하고 유지할 수 있도록 합니다.
AI 인프라를 구축하는 방법
많은 조직이 AI 워크로드를 지원하는 데 필요한 인프라를 구축할 때 비용과 복잡성 등 중대한 난관에 직면합니다. F5 디지털 엔터프라이즈 성숙도 지수 보고서의 응답자 중 거의 절반은 AI 워크로드를 구축하고 운영하는 데 드는 비용을 우려했으며, 39%는 소속 조직이 아직 확장 가능한 AI 데이터 활용 체계를 확립하지 못했다고 답했습니다.
비용 문제를 해결하려면 명확한 목표와 별도의 예산을 수립하는 것부터 시작하세요. AI로 해결하려는 구체적인 과제를 정의하면 예산을 전략적으로 사용하는 데 집중하여 투자가 측정 가능한 가치를 창출하고 최대의 효과를 내도록 할 수 있습니다. 일반적으로 목표에 따라 사용할 프레임워크가 결정되고, 프레임워크에 따라 사용할 컴퓨팅 유형이 결정될 수 있습니다. 또한 사용 사례에 따라 AI 팩토리 내부의 로컬 네트워크 아키텍처뿐 아니라 엣지 연결 및 처리 방식도 달라질 수 있습니다. 클라우드 기반 스토리지 솔루션을 활용하는 방안도 고려하세요. AWS, Oracle, IBM, Microsoft Azure와 같은 클라우드 제공업체는 온프레미스 인프라에 막대한 비용을 투자하지 않고도 스토리지를 확장할 수 있도록, 보다 경제적인 종량제 데이터 모델을 비롯한 클라우드 기반 AI 인프라를 제공합니다.
확장 가능한 AI를 구축할 때 네트워킹 솔루션은 중요한 역할을 합니다. 고대역폭·저지연 네트워크를 사용하면 스토리지 시스템과 컴퓨팅 리소스 간에 대량의 데이터를 빠르게 전송할 수 있습니다. 또한 데이터 처리 장치(DPU)는 방대한 데이터 이동을 처리하고 멀티테넌시를 지원하도록 특별히 설계되었습니다. 단일 인프라에서 여러 AI 워크로드를 실행할 수 있도록 하여 데이터 처리의 확장성을 지원합니다.
기타 AI 인프라 고려 사항에는 기존 시스템과의 통합이 포함됩니다. 기존 IT 환경과 새로운 AI 인프라 간에 데이터가 어떻게 이동할지 신중하게 계획하여 호환성을 확보하고, 중단을 최소화하며, AI 팩토리로 유입되는 데이터의 무결성을 검증해야 합니다. 또한 AI 인프라가 발전함에 따라 민감한 데이터 노출, 모델 도난, API 취약점과 같은 보안 위험도 증가합니다. 강력한 액세스 제어, 암호화 및 모니터링을 구현하고, AI 환경이 유럽연합의 일반 데이터 보호 규정(GDPR) 및 HIPAA와 같은 데이터 개인정보 보호 규정을 준수하도록 해야 합니다.
AI 인프라를 최적화하고 보호하는 방법
명확한 전략과 세심한 계획이 없다면 AI 워크로드와 애플리케이션으로 인해 네트워크 혼잡, 지연 시간 증가, 성능 병목 현상, 보안 위험 증대 등 심각한 문제가 발생할 수 있습니다.
AI 인프라의 성능을 최적화하려면 트래픽 관리를 개선하여 처리량이 많고 지연 시간이 짧은 데이터 파이프라인을 지원하고, 학습 및 추론 데이터가 원활하게 전달되도록 하십시오. 검색 증강 생성(RAG) 기술을 활용하여 AI 모델이 독점 데이터 세트에 동적으로 액세스하고 이를 참조할 수 있도록 함으로써 응답 품질과 맥락 적합성을 높이십시오. AI 클러스터 인식 오케스트레이션 기반 네트워크 세분화를 구현하여 GPU와 컴퓨팅 리소스를 동적으로 스케줄링하고, 네트워크 혼잡을 줄이며, AI 인프라 자동화를 통해 전반적인 시스템 효율성을 개선하십시오.
AI 인프라를 보호하려면 API 보안을 최우선으로 고려하세요. AI 애플리케이션은 API에 크게 의존하므로 강력한 인증, 속도 제한 및 액세스 제어 정책을 수립하여 공격과 악용을 방지하세요. AI 모델로 유입되는 실시간 트래픽을 검사하여 프롬프트 인젝션, 데이터 유출, 악의적인 입력/출력 동작과 같은 프롬프트 수준의 위협으로부터 보호하세요. 웹 애플리케이션 스캐너를 사용해 새로운 위험을 지속적으로 모니터링하여 새로운 위협은 물론, 환경 내에서 작동하는 승인되지 않은 AI 도구와 섀도 AI를 탐지하고 방어하세요.
F5가 지원하는 방법
F5는 AI 파이프라인 전반에서 AI 인프라와 워크로드의 성능, 안정성, 확장성 및 보안을 강화합니다. F5의 AI 애플리케이션 및 데이터 전송 솔루션은 안전한 고속 네트워킹을 기반으로 고성능 AI 네트워킹과 트래픽 관리를 제공하여 AI 기반 앱의 속도와 가용성을 유지하고 효과적으로 제어할 수 있도록 지원합니다. F5 솔루션은 AI 네트워킹을 최적화하여 데이터를 회선 속도로 전송하고 트래픽을 원활하게 확장함으로써 일관되고 비용 효율적인 엔드 투 엔드 성능을 제공합니다.
F5는 또한 AI 애플리케이션 및 워크로드를 위한 보안을 제공하여 완벽한 가시성, 강력한 보안, 원활한 확장성을 바탕으로 AI 앱, 모델 및 데이터를 보호합니다. 이 모든 기능은 단일 플랫폼인 F5 Application Delivery and Security Platform (ADSP)을 통해 제공됩니다. 적응형 다계층 방어 체계를 갖춘 F5 ADSP는 가장 집약적인 워크로드에 일관되고 포괄적인 보안, 고가용성 및 저지연 연결을 제공하여, 조직이 신뢰할 수 있는 업계 선도 기업의 통합된 강력한 보안으로 AI 투자를 안전하게 보호할 수 있도록 지원합니다.
Explore the F5 AI 레퍼런스 아키텍처를 살펴보고 하이브리드 및 멀티클라우드 환경 전반에서 안전하고 안정적이며 고성능인 AI 인프라를 구현하기 위한 모범 사례를 알아보세요.
관련 블로그 게시물
성평등을 향한 여정: 사이버 보안 분야에서 성공적인 커리어를 개척하는 방법에 관한 Jenn Gile과의 Q&A
F5의 ‘성평등을 향한 여정’ 시리즈 네 번째 Q&A에서는 Rachael Shah와 NGINX 제품 마케팅 책임자 Jenn Gile이 사이버 보안 직종에 대한 오해를 바로잡고, 사이버 보안 분야의 성별 격차를 해소하기 위한 조언과 그 이점에 대해 이야기합니다.
TLS 검사에서 피터 파커 원칙 다루기
“큰 힘에는 큰 책임이 따른다.” 볼테르와 처칠도 이와 비슷한 말을 남겼지만, 이 문구는 스파이더맨 코믹스에서 벤 삼촌의 말로 가장 널리 알려져 있습니다. 물론 이 문구가 문화적으로 널리 통용되는 이유 중 하나는 TLS 검사를 비롯해 수많은 상황과 주제에 적용할 수 있기 때문입니다.
Venafi와 F5를 통한 머신 아이덴티티 보호
‘머신 아이덴티티’란 간단히 말해 자동화된 프로세스가 자신의 신원을 식별할 수 있도록 하고, 다른 자동화 시스템과 프로세스가 관련 리소스에 적절한 수준의 접근 권한을 부여하도록 하는 방법을 의미합니다. 이 개념 자체는 새로운 것이 아닙니다. 비교적 새로운 점은 이를 구현해야 하는 규모입니다.
마이너와 미니언: 데이터 유출만이 비용을 초래하는 것은 아닙니다
물론 데이터 유출은 더 큰 비용을 초래할 수 있고(적어도 지금은), 실패 사실을 세상에 드러낼 수밖에 없게 합니다(통지 의무가 있으니까요). 하지만 보안을 단순히 데이터 노출 문제로만 봐서는 안 됩니다. 요즘은 데이터가...
내 클라우드에서 나가!
F5의 Jay Kelley가 전하는 최신 소식에는 Microsoft Office 365용 신규 ID 및 액세스 솔루션을 배포할 때 고려해야 할 사항이 정리되어 있습니다.
Shift(웹 앱) 보안 레터
웹 앱 보안을 개발 초기 단계로 앞당기세요. F5 블로그에서 DevOps 파이프라인 초기에 보안을 통합하여 취약점을 예방하고 시간을 절약하는 방법을 알아보세요.