생성형 AI 앱: 실험에서 프로덕션으로

James Hendergart기술 연구 담당 수석 이사 | F5

장밋빛 약속이 넘쳐납니다. 생성형 AI 기반 애플리케이션은 인간의 생산성을 높이고, 그에 따라 기업의 수익도 증대할 것이라고 약속합니다. 하지만 많은 사용 사례에서 실험 단계부터 실제 운영 환경에 이르는 과정은 여전히 코나미가 1981년에 출시한 비디오 게임 Frogger처럼 숨 가쁘고 위험천만합니다. 개구리는 먼저 차량이 붐비는 도로를 건넌 다음, 물살이 빠른 강을 건너 집으로 돌아가야 합니다. 가만히 있을 수도 없지만, 곳곳에 위험이 도사리고 있어 언제나 앞으로 뛰어갈 수도 없습니다.

기업은 개구리와 같습니다. 도로와 강은 어지러울 정도로 빠르게 흘러가는 AI 기술의 물결입니다. 안전한 공간(차가 없는 도로와 물 위에 떠 있는 통나무)은 자체 개발 프로젝트와 공급업체가 제공하는 솔루션입니다. 자동차, 트럭, 거북이, 탁 트인 물은 생성형 AI가 초래할 수 있는 윤리, 법률, 개인정보 보호 및 정확성 관련 위험을 의미합니다. 집은 반대편에 있으며, 생성형 AI 애플리케이션을 실제 운영 환경에 도입한 후 비즈니스 성과가 급증하는 곳입니다.

생성형 AI를 프로덕션에 도입하는 것은 프로거 게임을 하는 것과 같습니다

생성형 AI가 빠르게 확산되면서 기업 내부에는 다급한 분위기가 조성되고 있습니다. 하지만 모델이 발전하는 속도가 너무 빨라 일부 조직은 끊임없이 급변하는 상황에서 방향을 잡지 못하고 마비 상태에 빠지기도 합니다. 생성형 AI 도입의 비결은 Frogger 게임을 시작하는 것과 같습니다. 일단 뛰어드세요!

기본적인 생성형 AI 활용 사례에서 출발해 기업은 어떤 사례가 적합해 보이는지 결정한 뒤 실험을 시작할 수 있습니다. AI 기반 애플리케이션을 구축하든, 타사 제품을 사용해 보든, 또는 두 가지를 병행하든, 초기 시험을 통해 비즈니스에 정확히 무엇이 필요한지 명확히 파악할 수 있습니다. 이 초기 단계에서 성공의 핵심은 안전성과 효과에 관한 프로덕션 요구 사항을 충족하는 애플리케이션의 최소 버전을 구현하는 데 전념하는 것입니다. 이는 조직의 기반이 됩니다. 이를 토대로 기업은 어떤 모델의 발전이 중요한지, 직접 구축하는 것과 구매하는 것 중 어느 쪽이 더 현명한지 판단하며 앞으로 나아갈 수 있습니다.

생성형 AI를 도입하려는 조직의 발목을 필연적으로 잡는 두 가지 함정이 있습니다. 바로 모델을 사내에서 학습시키는 것과 비공개 데이터 저장소입니다. 이제 기반 모델의 발전 속도는 주 단위와 월 단위로 측정되며, 이를 기반으로 한 버전은 매일 업데이트됩니다. 증거가 필요하다면 HuggingFace의 모델 트래커를 살펴보세요. 이 글을 쓰면서 방금 불러온 페이지는 업데이트된 지 1분도 채 되지 않은 모델들로 거의 한 페이지가 가득 찼습니다. 업데이트된 지 2분이 넘은 모델을 찾으려면 화면을 아래로 스크롤해야 할 정도입니다!

AI에 제시된 질문에 답하는 데 필요한 데이터가 공개되어 있다면, API를 통해 사용할 수 있는 다양한 기반 모델이 이미 존재할 가능성이 높습니다. 반면 데이터가 공개되어 있지 않다면, 추론 과정에서 해당 데이터를 전송할지, 아니면 모델을 직접 구축하거나 확보해 비공개로 배포할지 결정해야 합니다. 모델 이용료를 지불하는 방식은 자체 모델을 직접 구축하거나 라이선스를 취득해 호스팅하고 유지 관리하는 것보다 확실히 빠르고 비용도 훨씬 저렴할 가능성이 높습니다. 귀사의 핵심 경쟁력은 무엇인가요? 대규모 언어 모델(LLM)을 구축하거나 유지 관리하는 일이 아니라면, 직접 구축하고 호스팅하기보다는 구매하는 편이 좋습니다.

비공개 데이터의 경우에도 LLM 활용을 위한 컨텍스트 창과 맞춤형 옵션이 매우 빠르게 발전하면서, 이미 클라우드 컴퓨팅에서 받아들여진 것과 유사한 엔터프라이즈급 보안 및 규정 준수 요건을 대부분의 기업이 충족할 수 있게 되었습니다. 실제로 2023년에는 고객 데이터로 학습하지 않는다는 요구가 모델 제공업체에 분명하게 전달되었습니다. ChatGPT Enterprise를 예로 들면, SOC 2 Type 2 규정 준수, SAML SSO, 저장 및 전송 중 데이터 암호화는 물론, 데이터 보존과 도메인 확인을 지원하는 전용 워크스페이스까지 제공합니다. 꽤 괜찮지 않나요? 실제로 포춘 500대 기업의 92%에는 충분히 만족스러운 수준인 듯합니다.

생성형 AI의 가능성을 믿는 조직이라면 내재된 위험이나 하루가 다르게 발전하는 LLM 때문에 주저할 필요가 없습니다. 위험을 충분히 인지한 채 과감히 뛰어들면 성공할 수 있습니다. 초기 실험 주기를 거치면 자신감을 얻고, 안전하고 윤리적으로 활용할 때 가장 큰 효과를 볼 수 있는 업무의 우선순위를 정할 수 있습니다. 그런 업무는 실제 운영 환경에서 조직 전반에 도입해야 합니다. 그러면 평가자와 구현 담당자는 잠시 숨을 돌릴 수 있고, 조직은 생산성 향상을 측정하고 다음 업무의 우선순위를 정하며 LLM을 직접 구축하는 것과 외부 서비스를 구매해 이용하는 것 중 어느 쪽이 더 합리적인지 판단할 시간을 확보할 수 있습니다.

작성자 소개

James Hendergart기술 연구 담당 수석 이사 | F5

James Hendergart의 다른 블로그 게시물