Sentient.io, F5 Distributed Cloud Services로 AI 대중화

싱가포르에 본사를 둔 AI 및 데이터 플랫폼 제공업체 Sentient.io는 모든 규모의 기업이 AI를 활용할 수 있도록 접근성을 높이고 있습니다. F5 Distributed Cloud Services는 Sentient.io의 분산된 운영을 간소화하여 운영 비용을 절감하는 동시에 엣지에서 실시간 AI 처리를 구현할 수 있도록 지원했습니다.

비즈니스 과제

AI 혁신 기업으로서 Sentient.io가 걸어온 여정은 눈부신 성공으로 이어졌습니다. Sentient.io는 혁신적인 AI 솔루션으로 다양한 산업의 역량을 강화한다는 비전을 실현하기 위해 효과적인 의사결정을 지원하는 실시간 인사이트를 제공하고자 합니다. 이 회사의 AI 솔루션은 산업을 혁신하고 기업이 AI의 혁신적인 힘을 최대한 활용할 수 있도록 지원합니다. Sentient Marketplace는 기업이 기존 워크플로에 AI를 손쉽게 통합할 수 있도록 지원하는 혁신적인 AI 서비스의 허브입니다. Sentient Marketplace를 통해 아세안 국가와 일본의 고객은 AI의 강력한 역량을 활용할 수 있습니다.

하지만 빠른 성장과 고객 기반의 확대는 멀티 클라우드 환경의 복잡성과 기존 클라우드 네이티브 처리 방식의 한계 등 여러 복합적인 과제를 야기했습니다. 개별 클라우드 제공업체의 솔루션은 여러 제공업체를 아우르는 환경에서 운영할 때 본질적인 어려움을 수반합니다. 예를 들어 각 제공업체는 독자적인 Kubernetes 배포판(GKE 또는 AKS)을 제공하므로, 각자의 클라우드 환경에서 이러한 플랫폼을 활용해야 하는 조직에는 큰 부담이 될 수 있습니다.

고객 사이트에 AI 모델을 배포하는 번거로운 과정도 이러한 문제를 더욱 가중시켰습니다. 모델을 다운로드하고 각 엣지 사이트에 온프레미스 Kubernetes 환경을 구축하며 업데이트를 수동으로 처리하는 방식은 시간 소모가 클 뿐만 아니라 오류가 발생하기 쉬워, 배포가 지연되고 모델이 일관되지 않게 배포되는 결과를 초래했습니다. 또한 중앙 Sentient Marketplace의 새 모델을 고객 사이트와 동기화하는 과정도 대부분 수작업으로 이루어져 고객 사이트 전반의 운영 비효율이 심화되었습니다.

Sentient.io의 AI 애플리케이션이 고객들로부터 호응을 얻으면서, 이들은 온프레미스, 퍼블릭 클라우드, 프라이빗 클라우드 등 분산된 환경 전반에서 이러한 서비스를 운영하고 배포하는 데 따르는 어려움을 깨달았습니다. 이로 인해 운영 복잡성이 증가하고 워크플로 오케스트레이션과 보안 정책의 일관성이 떨어지면서, 자사 제품이 가치를 실현하기까지 더 오랜 시간이 걸렸습니다. 또한 어떤 클라우드에서든 AI 애플리케이션을 안전하게 배포하고 제공할 수 있는 솔루션을 찾지 못했습니다.

솔루션

Sentient.io는 보다 간소하고 효율적인 접근 방식의 필요성을 인식하고 F5와 협력하여 F5 Distributed Cloud Services를 활용함으로써 다양한 산업 분야의 고객에게 즉시 도입 가능한 엔터프라이즈급 AI ‘서비스형’ 솔루션을 제공하고, 고객이 비즈니스에서 AI의 잠재력을 실현할 수 있도록 지원했습니다.

F5 Distributed Cloud App Stack은 엣지에서 실시간 데이터 처리를 지원하기 위해 플랫폼에서 활성화한 핵심 서비스입니다. Distributed Cloud App Stack을 사용하면 현지화된 추론 데이터를 애플리케이션과 더 가까운 위치에서 제공할 수 있어, 추론 데이터 검색 시 인터넷 기반 또는 모바일 링크에 대한 의존도를 줄일 수 있습니다.

Distributed Cloud App Stack은 애플리케이션 환경을 통합하여 여러 Kubernetes 배포판을 관리할 필요를 없애고 주요 AI 서비스의 배포 및 관리 방식을 간소화했습니다. 이러한 단순화를 통해 운영 측면에서 많은 개선이 이루어졌으며, Sentient.io는 모든 클라우드 제공업체에 AI 모델을 더욱 효율적으로 손쉽게 배포할 수 있게 되었습니다.

“F5 Distributed Cloud App Stack 덕분에 고객에게 AI 인프라를 제공하는 방식이 완전히 달라졌습니다.”라고 Sentient.io의 CEO 크리스토퍼 여(Christopher Yeo)는 말합니다. “엣지에서 데이터를 처리함으로써 실시간 인사이트를 확보할 수 있게 되었고, 고객은 데이터의 양이나 위치에 관계없이 즉각적으로 정보에 기반한 의사 결정을 내릴 수 있게 되었습니다. 이러한 변화는 당사의 비즈니스를 혁신하여 AI 혁신의 최전선에 설 수 있게 해주었습니다.”

앞으로 Sentient.io는 LLM 솔루션을 보호하기 위해 F5 Distributed Cloud Services 도입도 검토할 계획입니다. Yeo는 “F5를 사용한 경험을 통해 F5 Distributed Cloud Web Application and API Protection(WAAP)을 도입하여 LLM 서비스를 종합적으로 보호하고 서비스 거부 및 민감한 정보 공개와 같은 LLM 위협을 완화할 수 있다는 확신을 얻었습니다”라고 말합니다.

Sentient.io는 F5를 통해 혁신적인 AI/ML 솔루션을 모색하는 기업이 더 빠르게 가치를 실현할 수 있도록 지원합니다.

성과

통합 PaaS 플랫폼

F5 Distributed Cloud Services는 여러 클라우드 환경을 관리할 필요를 없애 운영을 간소화하고 효율성을 향상했습니다. 이를 통해 Sentient.io는 민첩성과 확장성을 높이면서 여러 클라우드 제공업체에 AI 모델을 배포할 수 있었습니다.

엣지에서 얻는 실시간 인사이트

이 솔루션은 Sentient의 운영을 간소화하고 지연 시간을 단축하는 동시에 엣지에서 실시간 AI 처리를 지원했습니다. 엣지에서 추론을 수행함으로써 지리적 위치로 인한 네트워크 및 대역폭 제약을 해소하고, 애플리케이션에 추론 결과를 실시간으로 즉시 제공할 수 있습니다. 이러한 모델 배포 방식의 전환을 통해 Sentient.io는 고객에게 고성능 AI 애플리케이션을 제공하고 가치 실현 시간을 단축할 수 있었습니다.

Distributed Cloud App Stack에는 GPU 기능이 기본으로 탑재되어 있어 Sentient가 모든 추론 사이트에 추가 GPU 리소스를 배포할 필요가 줄어듭니다.

비용 절감 및 보안 강화

분산 클라우드 플랫폼으로 운영을 통합하고 간소화함으로써 리소스 할당을 최적화하고 전반적인 운영 비용을 절감할 수 있었습니다. 또한 플랫폼에서 애플리케이션 및 API 보안이 기본적으로 통합·지원되어 모든 추론 앱을 안전하게 보호할 수 있었습니다.

이 협업을 통해 상당한 비용 절감 효과도 거두었습니다. 여러 클라우드 플랫폼을 관리하려면 전담 팀이 필요했고 상당한 리소스 비용이 발생했습니다. Sentient는 F5 Distributed Cloud Services를 통해 운영을 간소화하고, 리소스를 최적화하고 애플리케이션 관리를 단순화하여 비용을 절감했으며, 전략적 이니셔티브에 투입할 리소스를 확보했습니다.

Yeo는 이렇게 말합니다. “F5 Distributed Cloud Services의 핵심은 단순히 AI를 위한 강력한 플랫폼에 그치지 않고, 데이터 보안을 위한 비밀 병기라는 점입니다. 결국 가장 중요한 것은 신뢰입니다. F5와 함께 Sentient.io는 혁신을 이어가는 동시에 데이터 개인정보 보호와 무결성을 철저히 보장하고 있습니다.”

모든 고객 사례 보기