AI 팩토리란 무엇인가요?

F5 에코시스템 | 2024년 10월 11일

이 블로그 게시물은 AI 팩토리를 다루는 시리즈 중 하나입니다. 이 글을 다 읽으셨다면 시리즈의 다른 게시물도 살펴보세요.

2022년 11월 ChatGPT가 출시되었을 당시, 우리가 던진 질문과 입력한 프롬프트는 "X에 관한 이야기를 들려줘", "주제 Z에 대해 인물 A와 인물 B가 나누는 이야기를 써줘"처럼 단순했습니다. 당시 우리는 이러한 질문과 GPT-3.5와의 초기 상호작용을 통해 새롭게 주목받는 이 기술이 일상생활에 어떤 영향을 미칠지 파악하고자 했습니다. 2024년 말인 지금, AI는 디버깅과 코드 작성, 데이터 취합과 요약, 자율주행차 운전 등을 지원하며 우리 삶을 보완하고 있습니다. 이는 현대 AI 팩토리가 만들어 내는 결과물이며, 우리는 이제 막 시작점에 서 있을 뿐입니다.

AI 팩토리 시리즈의 첫 번째 글인 이 글에서는 AI 팩토리의 구성 요소와 각 요소가 어떻게 유기적으로 연계되어 대규모 AI 기반 솔루션을 만들어 내는지 살펴봅니다.

AI 팩토리의 정의

AI가 진화하는 가운데, AI 모델과 서비스가 생성되고 개선되어 배포되는 방식을 설명하는 비유로서 AI 팩토리라는 개념이 등장했습니다. 원자재를 완제품으로 탈바꿈시키는 전통적인 제조 공장과 마찬가지로, AI 팩토리는 대규모·고성능 학습 및 추론 요구 사항을 충족하기 위해 스토리지, 네트워킹, 컴퓨팅에 막대한 투자를 집약한 시설입니다.

“AI 팩토리는 대규모·고성능 학습 및 추론 요구 사항을 충족하기 위한 스토리지, 네트워킹, 컴퓨팅 분야의 대규모 투자입니다.”

이러한 팩토리 내부에서는 서버, 그래픽 처리 장치(GPU), 데이터 처리 장치(DPU), 특수 하드웨어로 구성된 네트워크가 유기적으로 연동되어 방대한 양의 데이터를 처리하고, 복잡한 알고리즘을 실행해 AI 모델이 높은 수준의 정확성과 효율성을 달성하도록 학습시킵니다. 이러한 인프라는 대규모 모델을 학습시키고 실시간 추론에 배포하는 데 필요한 막대한 컴퓨팅 성능을 처리할 수 있도록 정교하게 설계됩니다. 또한 대규모 데이터 세트를 관리하고 검색하기 위한 고급 스토리지 솔루션을 통합하여 데이터가 원활하게 흐르도록 합니다.

부하 분산과 네트워크 최적화는 성능과 리소스 활용도를 극대화하고 병목 현상을 방지하며 확장성을 보장합니다. 이러한 하드웨어 및 소프트웨어 구성 요소의 유기적인 조율을 통해 AI 팩토리는 최첨단 AI 모델을 개발하고, 새로운 데이터와 변화하는 요구 사항에 맞춰 이를 지속적으로 개선할 수 있습니다. 궁극적으로 AI 팩토리는 AI 개발의 산업화를 구현하며, 차세대 지능형 애플리케이션을 지원하는 데 필요한 견고한 인프라를 제공합니다.

AI 팩토리가 중요한 이유는 무엇인가요?

NVIDIA CEO 젠슨 황이 Salesforce Dreamforce 2024에서 “역사상 그 어느 때도 컴퓨터 기술이 무어의 법칙보다 빠르게 발전한 적은 없었다”라고 말한 데 이어, “우리는 무어의 법칙보다 훨씬 빠르게 발전하고 있으며, 가히 무어의 법칙의 제곱이라고 할 수 있습니다”라고 덧붙였습니다.

AI 투자가 시장에서 중요한 차별화 요소이자 운영 효율성을 높이는 동력으로 작용함에 따라, AI를 대규모로 배포하는 일이 점점 더 중요해지고 있습니다. 이를 위해 조직은 모델을 지속적으로 구축하고 개선하는 한편, 지식 저장소와 실시간 데이터를 통합해야 합니다. AI 팩토리 개념은 AI가 일회성 노력이 아니라 지속적인 투자의 대상이어야 한다는 점을 강조합니다. 또한 조직이 AI 이니셔티브를 운영 체계에 정착시켜 변화하는 비즈니스 및 시장 요구에 더욱 유연하게 대응할 수 있도록 하는 프레임워크를 제공합니다.

AI 팩토리의 구성 요소

F5는 고객이 고성능의 안전한 최신 애플리케이션군을 대규모로 배포할 수 있도록 지원해 온 전문성을 바탕으로 AI 참조 아키텍처 프레임워크를 개발했습니다. AI 앱은 최신 애플리케이션 중에서도 가장 현대적이며, API를 통해 긴밀하게 연결되고 고도로 분산되어 있습니다. 이 프레임워크는 최첨단 AI 애플리케이션을 제공하는 데 필수적인 성능, 보안 및 운영상의 핵심 과제를 해결합니다.

F5의 AI 참조 아키텍처 다이어그램 ›

AI를 구성하는 7가지 핵심 요소

당사의 참조 아키텍처에서는 종합적인 AI 팩토리를 구축하는 데 필요한 7가지 AI 구성 요소를 정의했습니다:

1. 추론

프런트엔드 애플리케이션과 추론 서비스 API 간의 상호작용을 설명하며, AI 모델에 요청을 보내고 응답을 받는 과정에 중점을 둡니다. 이는 더욱 복잡한 상호작용을 구현하기 위한 토대를 마련합니다.

2. 검색 증강 생성

대규모 언어 모델(LLM) 오케스트레이션 및 검색 증강 서비스를 추가하여 기본 추론 기능을 향상합니다. 벡터 데이터베이스와 콘텐츠 리포지토리에서 추가 컨텍스트를 검색하고, 이를 활용해 컨텍스트가 보강된 응답을 생성하는 과정을 자세히 설명합니다.

3. RAG 코퍼스 관리

검색 증강 생성(RAG)을 활용한 추론에 필요한 데이터 수집 프로세스에 중점을 둡니다. 여기에는 데이터 정규화, 임베딩, 벡터 데이터베이스 채우기가 포함되며, RAG 호출에 사용할 콘텐츠를 준비합니다.

4. 미세 조정

모델과의 상호작용을 통해 기존 모델의 성능을 향상하는 것을 목표로 합니다. 모델을 처음부터 다시 구축하지 않고 조정하며, 미세 조정 워크플로를 위해 추론 및 RAG 기반 추론에서 데이터를 수집하는 데 중점을 둡니다.

5. 학습

이 과정에서는 이전 체크포인트를 활용해 재학습할 수도 있지만, 기본적으로 새로운 모델을 처음부터 구축합니다. 데이터 수집, 전처리, 모델 선택, 학습 방법 선택, 학습, 검증 및 테스트를 포함합니다. 이러한 반복적인 과정은 특정 작업에 최적화된 견고한 모델을 만드는 것을 목표로 합니다.

6. 외부 서비스 통합

LLM 오케스트레이션 계층을 데이터베이스 및 웹사이트와 같은 외부 소스에 연결합니다. 외부 데이터를 추론 요청에 통합하지만, 청킹 및 임베딩과 같은 문서 전처리 작업은 포함하지 않습니다.

7. 개발

AI 애플리케이션 구성 요소를 개발, 유지 관리, 구성, 테스트 및 배포하는 워크플로를 포괄합니다. 여기에는 프런트엔드 애플리케이션, LLM 오케스트레이션, 소스 제어 관리 및 CI/CD 파이프라인이 포함됩니다.

이러한 구성 요소들은 함께 AI 팩토리의 근간을 이룹니다. 각 구성 요소는 AI 결과물을 생성하고 배포하며 개선하는 데 핵심적인 역할을 합니다. 또한 AI 팩토리 이니셔티브에서는 대부분의 구성 요소에 대해 구현 전략을 임대하거나 외주화하기보다 직접 소유하는 방식을 선호하는 경향이 있어, 아래에 나열된 배포 모델 중 자체 호스팅 방식을 선택하게 됩니다.

네 가지 배포 모델

고객은 이러한 각 구성 요소에 적합한 배포 모델과 구현 전략(직접 소유, 임대 또는 아웃소싱)을 선택하여 AI 이니셔티브의 비즈니스 목표를 달성하기 위한 최적의 참조 아키텍처를 정의해야 합니다. 대표적인 네 가지 모델은 다음과 같습니다.

AI-SaaS는 서비스형 소프트웨어(SaaS) 방식으로 구현된 추론 서비스를 사용하는 모델로, 서비스 제공업체가 인프라, 모델 업데이트 및 확장을 관리합니다. 사용자는 기반 시스템의 유지 관리에 신경 쓸 필요 없이 API를 통해 서비스와 상호 작용합니다. 이 배포 모델은 상당한 추가 부담 없이 간편한 사용과 빠른 통합을 원하는 기업에 적합합니다. 또한 신속한 확장이 가능하며 최신 기능과 개선 사항을 이용할 수 있습니다.
클라우드 호스팅 배포는 클라우드 서비스 제공업체(CSP)의 서비스형 인프라(IaaS) 또는 서비스형 플랫폼(PaaS)을 사용하여 추론 서비스를 관리하는 방식입니다. 이 모델에서는 사용자가 구성, 확장, 유지 관리를 비롯한 서비스 관리를 담당하는 동시에 CSP의 강력한 인프라와 도구를 활용할 수 있습니다. 이 모델은 유연성과 제어 기능을 제공하므로 특정 요구 사항과 기술 전문성을 갖춘 조직에 적합합니다. 또한 다른 클라우드 네이티브 서비스 및 도구와 원활하게 통합할 수 있습니다.
자체 호스팅 배포에서는 자체 관리형 프라이빗 데이터 센터 또는 코로케이션 서비스 내에서 추론 서비스를 관리해야 합니다. 이 모델은 최고 수준의 제어 기능과 맞춤 설정을 제공하므로 조직이 특정 요구 사항에 맞게 인프라와 서비스를 조정할 수 있습니다. 하지만 유지 관리, 업데이트 및 확장에 상당한 리소스가 필요합니다. 클라우드 기반 솔루션으로 충족할 수 없는 엄격한 보안, 규정 준수 또는 성능 요구 사항이 있는 조직에서 주로 선택합니다.
엣지 호스팅 배포는 소매점 키오스크, IoT 기기 또는 기타 로컬 환경과 같은 엣지에서 AI 또는 머신 러닝(ML) 서비스를 실행하는 방식입니다. 이 모델은 데이터가 생성되는 위치와 가까운 곳에서 데이터를 처리하여 지연 시간을 줄이므로, 실시간 애플리케이션과 인터넷 연결이 제한적이거나 간헐적인 환경에 적합합니다. 강력한 로컬 하드웨어 및 소프트웨어 관리가 필요하지만, 즉각적이고 현지화된 의사 결정이 필요한 사용 사례에 상당한 이점을 제공합니다. 엣지 호스팅 배포는 특히 소매, 제조, 의료 등의 산업에서 유용합니다.

F5는 어디서나 AI 애플리케이션을 제공하고 보호합니다

애플리케이션 전송 및 보안을 위해 일상적으로 사용하는 F5의 기능은 잘 설계된 AI 팩토리에 필수적인 기능과 동일합니다. F5 BIG-IP Local Traffic Manager는 F5 rSeries 및 VELOS 전용 하드웨어와 함께 AI 학습을 위한 고성능 데이터 수집을 지원합니다. 안전한 멀티클라우드 네트워킹을 위한 F5 Distributed Cloud Network Connect는 서로 분산된 데이터 위치를 연결하여 독점 데이터에서 AI 모델로 이어지는 안전한 통로를 구축하고 RAG를 지원합니다.

AI에 대한 F5의 노력은 여기서 끝나지 않습니다. F5가 어디서나 AI 앱을 보호하고 제공하는 방법을 알아보세요.

AI 팩토리에 대해 더 자세히 알아보고 싶으신가요? AI 팩토리 블로그 시리즈의 다른 글도 살펴보세요:

작성자 소개

Hunter Smit제품 마케팅 수석 매니저 | F5

Hunter Smit은 F5에서 솔루션 및 전략 부문 제품 마케팅을 담당하는 시니어 매니저입니다. AI 인프라와 애플리케이션 보안을 비롯한 F5 포트폴리오 전반의 솔루션 마케팅을 이끌고 있으며, F5의 신흥 AI 데이터 전송 시장 진출을 주도하고 있습니다. Hunter는 Whitworth University 경영대학 자문위원회 위원이며, 제품 마케팅 겸임 강사로도 활동했습니다. Whitworth University에서 경영학 석사(MBA)와 경영학 학사 학위를 취득했습니다.

Hunter Smit의 다른 블로그 게시물

AI 팩토리란 무엇인가요?

AI 팩토리의 정의

AI 팩토리가 중요한 이유는 무엇인가요?

AI 팩토리의 구성 요소

AI를 구성하는 7가지 핵심 요소

1. 추론

2. 검색 증강 생성

3. RAG 코퍼스 관리

4. 미세 조정

5. 학습

6. 외부 서비스 통합

7. 개발

네 가지 배포 모델

F5는 어디서나 AI 애플리케이션을 제공하고 보호합니다

작성자 소개

관련 블로그 게시물

성평등을 향한 여정: 사이버 보안 분야에서 성공적인 커리어를 개척하는 방법에 관한 Jenn Gile과의 Q&A

TLS 검사에서 피터 파커 원칙 다루기

Venafi와 F5를 통한 머신 아이덴티티 보호

마이너와 미니언: 데이터 유출만이 비용을 초래하는 것은 아닙니다

내 클라우드에서 나가!

Shift(웹 앱) 보안 레터