견고한 데이터 아키텍처의 전략적 이점

Ken Arora

잘 설계된 데이터 아키텍처의 효과는 운영 프로세스 개선에만 그치지 않습니다. 전략적 운영 효율성 향상과 더욱 심층적인 비즈니스 인사이트 확보는 물론, 인접한 비즈니스 기회를 더욱 민첩하게 포착할 수 있습니다.

6개월 후, 음식 배달 애플리케이션을 다시 살펴보다...

이전 글에서는 가상의 음식 주문 및 배달 서비스를 소개하고, 고객 주문 절차, 음식 픽업 및 배달 워크플로, 결제 처리 등 일상적인 운영에 필요한 몇 가지 핵심 워크플로를 제시했습니다. 또한 이러한 워크플로의 핵심 데이터 입력을 중심으로 체계적인 데이터 전략을 수립하면 더욱 견고하고 민첩하게 확장 가능한 비즈니스 프로세스를 구축할 수 있음을 살펴보았습니다.

이 글에서는 일상적인 운영 효율성을 넘어, 데이터 아키텍처를 사전에 설계함으로써 얻을 수 있는 보다 장기적이고 전략적인 이점을 살펴보겠습니다. 애플리케이션이 성공적으로 운영되었다고 가정하고 최초 시나리오에서 6개월이 지난 시점으로 넘어가 보면, 비즈니스 리더들은 새롭게 떠오르는 몇 가지 기회를 발견한 상태입니다. 이제 이들은 기술 담당자들에게 기반 시스템이 다음과 같은 구체적인 기회와 관련 과제에 얼마나 빠르고 손쉽게 대응하고 적응할 수 있는지 묻고 있습니다:

1. 서비스의 성장세가 빨라지고 있어, 기업은 더 많은 도시로 서비스를 확장하고자 합니다.
2. 확장의 일환으로, 이 서비스는 수익성이 매우 높은 캘리포니아 시장에 진출하고자 하며, 이에 따라 추가적인 데이터 거버넌스 요건이 적용됩니다.
3. 예상치 못한 수요 급증으로 인해 배송 시간이 점차 늘어나는 경우가 많습니다. 기술을 활용해 이 문제를 해결할 수 있을까요?
4. 회사는 신생 스타트업들과 경쟁하고 있으며, 일부 음식점은 경쟁 서비스로 옮기는 방안을 언급했습니다. 공급업체(음식점)가 이탈하지 않도록 이들에게 제공하는 부가가치를 입증할 수 있을까요?

나열된 네 가지 과제 예시는 크게 두 가지 범주로 나눌 수 있습니다:

첫째, 핵심적인 일상(‘전술적’) 비즈니스 프로세스를 조정하고 효율성을 개선합니다.

둘째, 회사의 고객을 통해 직간접적으로 회사에 장기적인("전략적") 가치를 창출하는 새로운 인사이트를 도출합니다.

새롭게 대두된 네 가지 과제 중 앞의 두 가지인 사업 지역 확장과 이에 따른 규정 준수 요건은 전술적 비즈니스 프로세스와 관련되어 있어 운영적 성격이 더 강합니다. 반면 나머지 두 가지 과제는 보다 전략적인 성격을 띱니다.

먼저 전술적·운영상의 고려 사항부터 살펴보겠습니다.

운영 효율성 개선

지리적 서비스 범위를 다른 도시로 확장하면 몇 가지 문제가 발생할 수 있습니다. 배송 워크플로에서 발생할 수 있는 문제 중 하나는 도로명 주소를 명확히 구분하기 어려울 수 있다는 점입니다. 동일한 주소(예: “100 Main St.”)가 여러 도시에 존재할 수 있기 때문입니다. 또 다른 문제는 도시마다 시간대가 다를 수 있다는 점입니다. 이를 고려하지 않으면 MDT 기준 오후 6시에 픽업한 물품이 인접한 PDT 지역 도시에는 예정 시간보다 한 시간 늦은 오후 6시 30분(PDT 기준)에 배송될 수 있습니다. 이전 글에서 설명한 데이터 아키텍처에는 데이터 요소를 전역적으로 고유하게 나타내는 "정규화된" 표현이라는 개념이 반영되어 있어 이 두 가지 잠재적 문제를 모두 해결하며, 애플리케이션이 이러한 추가 요구 사항을 별도의 조치 없이 수용할 수 있도록 합니다.

두 번째 실무적 고려 사항은 캘리포니아주의 추가 데이터 거버넌스 요구 사항을 준수하는 것입니다. 캘리포니아 소비자 개인정보 보호법(CCPA)과 관련된 모든 고려 사항은 그 자체로 여러 편의 글을 써야 할 만큼 방대하지만, 그중 하나는 고객의 모든 데이터를 수집 시점 및 데이터 출처에 대한 주석과 함께 수집할 수 있어야 한다는 것입니다. 앞서 설명했듯이 기본 데이터 수집 파이프라인에서 타임스탬프와 같은 메타데이터 주석을 추가할 수 있도록 데이터 아키텍처 프레임워크를 구축하면, 최소한의 추가 작업만으로 추가 데이터 거버넌스 요구 사항을 손쉽게 충족할 수 있습니다.

전략적 가치

회사의 일상적인 전술적 워크플로와 프로세스를 개선함으로써 창출되는 비즈니스 가치 외에도, 또 다른 이점이 있습니다. 어쩌면 더 중요하다고 할 수 있는 이 이점은 기존의 경쟁 구도를 유리하게 바꾸는 동시에 새롭게 참여할 수 있는 경쟁의 장을 개척하는 전략적 가치입니다.

적응형 애플리케이션을 위한 운영 워크플로 재구상

전략적 이점 중 하나는 핵심 운영 워크플로의 청사진을 바꿔 "경쟁의 판도를 유리하게 기울이는" 역량입니다. 이는 단순히 워크플로를 최적화하는 수준을 넘어 완전히 새롭게 구상하는 것을 의미합니다. 견고하고 미래 지향적인 데이터 아키텍처를 갖추면 동적 가격 책정을 활용해 수요 변동으로 인한 배송 시간 악화라는 앞서 언급한 문제를 해결하는 데 필요한 핵심 역량인 데이터 집계와 분석을 민첩하고 효율적으로 활용할 수 있습니다.

보다 구체적으로 말하면, 데이터 아키텍처를 사전에 면밀히 설계한 덕분에 다음이 가능합니다:

• 여러 데이터베이스 테이블에 걸쳐서도 일관된 구문과 의미 체계를 사용하여 각 주문 및 배송의 타임스탬프를 영구 저장합니다
• 픽업 및 배송 위치의 이력을 일관된 구문과 의미 체계를 사용하여 기록합니다

그 결과, 주문과 배달이라는 서로 다른 두 워크플로의 데이터를 서로 연계하고 분류하며 집계할 수 있습니다. 또한 유연한 메타데이터 아키텍처를 활용하면 취합된 데이터에 분석을 위한 풍부한 맥락 정보를 주석으로 추가할 수 있습니다. 주문을 받은 시점부터 음식이 배달될 때까지 걸리는 시간인 전체 배달 지연 시간을 예로 들어 보겠습니다. 주문 및 배달 워크플로의 데이터를 서로 연계하여 이 지연 시간을 계산할 수 있습니다. 또한 두 워크플로의 지리적 위치 데이터 표현에도 일관된 구문과 의미 체계가 사용되므로, 배달 지연 시간 계산 및 상관관계를 우편번호 등의 위치별로 구분할 수 있습니다. 따라서 데이터 전략을 사전에 면밀히 설계하면 시간별·우편번호별 세분화 수준으로 전체 배달 지연 시간 데이터 세트를 더욱 쉽게 만들 수 있습니다. 마지막으로 유연한 메타데이터 접근 방식을 활용하면 시간별 통계에 교통 상황 및 총강수량과 같은 추가 맥락 정보를 주석으로 덧붙일 수 있습니다.

이제 분석 파이프라인에 제공할 수 있는 풍부한 정보가 확보되었습니다. 분석 파이프라인은 예측형 AI 기법을 활용해 전체 배송 시간 증가와 관련된 패턴을 파악하고, 향후 이러한 상황까지 예측할 수 있습니다.

이 이야기의 마지막 단계로, 이제 기업이 배송 워크플로를 수요와 공급의 문제로 새롭게 바라보고, 가격을 활용해 공급을 수요에 맞추는 모습을 생각해 볼 수 있습니다. 구체적인 예로, 고정된 일정에 따라 또는 실시간 상황에 맞춰 동적으로 시간과 위치별 배송 기사의 보상을 조정할 수 있습니다. 이는 데이터를 활용해 비즈니스 문제(전체 배송 지연 시간 관리)를 해결하기 위한 실행 가능한 조치(가격 조정)를 취하고, 폐쇄 루프 피드백(관측된 지연 시간에 따른 동적 가격 조정)을 사용해 워크플로가 "적응형"으로 작동하도록 함으로써 데이터 주기의 "루프를 완성"합니다.

데이터에서 직접 수익화할 수 있는 비즈니스 가치 창출

데이터에서 창출할 수 있는 또 다른 유형의 가치는 데이터를 활용해 "새로운 사업 영역을 개척"하고, 고객에게 직접적인 혜택을 제공함으로써 수익화할 수 있는 비즈니스 가치를 만드는 것입니다. 그 한 가지 예가 6개월 후 시나리오에서 언급한 공급자 측 파트너인 레스토랑에 가치를 제공하는 것입니다. 애플리케이션 고객에게 인사이트를 제공해야 한다는 비즈니스 요구를 충족하려면, 애플리케이션의 운영 워크플로에서 수집한 데이터를 다시 한번 활용할 수 있습니다. 이번에는 고객과 파트너를 위한 비즈니스 인사이트를 도출하는 원재료로 사용하는 것입니다. 이러한 비즈니스 인사이트는 다양한 형태로 제공될 수 있으며, 몇 가지 예는 다음과 같습니다.

• 평소보다 수요가 많을 것으로 조기에 예측하여 파트너가 이에 맞춰 준비할 수 있도록 합니다.
• 특정 메뉴 항목의 가격 책정에 대한 인사이트를 제공하여 수요 민감도를 파악하고 동종 레스토랑들의 가격과 비교할 수 있도록 합니다.
• 영업시간을 늘리거나 줄일 때 예상되는 매출 영향과 같이, 레스토랑의 보다 전략적인 계획 수립에 도움이 되는 정량화 가능한 자료입니다.

이러한 비즈니스 인사이트를 발견할 수 있는 것은 단순히 대규모 데이터 저장소가 있기 때문만이 아니라, 일관된 메타데이터 어휘를 사용해 수집된 데이터를 구조화된 방식으로 주석 처리하는 데이터 전략 덕분입니다.

구체적인 비즈니스 인사이트 사례를 자세히 살펴보면서 메뉴 가격에 관한 인사이트를 어떻게 도출할 수 있는지 생각해 보겠습니다. 원재료, 즉 주문 워크플로에서 운영상 수집된 데이터부터 살펴보면 메타데이터로 주석을 단 데이터 전략의 가치가 분명하게 드러납니다. 구체적으로는 특정 레스토랑에서 판매되는 품목의 가격뿐만 아니라 관련 메타데이터도 함께 기록됩니다. 음식의 양, 음식의 "유형"(예: "탄산음료" 또는 "햄버거"), 특별한 "부가 요소"(예: "사이드 메뉴 포함" 또는 "매운맛")와 같은 음식 품목의 추가적인 설명 속성을 생각해 볼 수 있습니다. 데이터 아키텍처에서 일관된 메타데이터 태그 어휘(예: "중량(온스)", "음식 분류", "부가 요소")와 정규화된 메타데이터 값 집합을 사용하여 이러한 속성에 관한 메타데이터를 음식 품목 데이터에 추가하면 레스토랑 간에 음식 품목 정보를 비교할 수 있습니다. 예를 들어 코드 데이터베이스에서 알 수 있는 정보가 "Burger Basement"에는 Man Cave Burger가 있고 "Heart Attack Grill"에는 Double Bypass Burger가 있다는 것뿐이라면 의미 있는 비교를 할 근거가 없습니다. 하지만 메타데이터 주석 어휘를 추가하면 비교와 분석을 수행할 수 있습니다. 두 품목 모두 "음식 분류"가 "햄버거"이므로 시스템은 이 둘을 비교할 수 있다고 이해합니다. 또한 분석 시 다른 메타데이터 필드를 활용하여 양을 정규화할 수도 있습니다(즉, "Man Cave"는 8온스이고 "Double Bypass"는 12온스일 수 있습니다). 마지막으로 "치즈 포함"과 같은 표준화된 "부가 요소" 값 체계를 사용하면 부차적인 유사점 및/또는 차이점을 바탕으로 추가 조정을 수행할 수도 있습니다. 이처럼 이번에는 메타데이터 전략을 중심으로 데이터 아키텍처를 미리 세심하게 설계함으로써, 기업은 기존 워크플로에서 부수적으로 생성되는 데이터를 활용하는 것만으로도 새로운 비즈니스 기회를 신속하게 실현할 수 있게 되었습니다.

요약

대부분의 비즈니스 리더는 핵심 운영 워크플로를 계획하고 그 실행 과정을 파악하는 것이 성공을 좌우한다는 점을 잘 알고 있습니다. 또한 유능한 비즈니스 리더는 이러한 인사이트를 빠르고 효율적으로 도출하고, 이를 바탕으로 조직 내부와 외부를 대상으로 조치를 취하는 역량이 지속적인 성공의 핵심이라는 점도 이해하고 있습니다.

기술 전문가인 우리는 운영 효율성을 지속적으로 개선하고 비즈니스 민첩성을 높이려는 목표를 실현할 수 있는 솔루션을 구축해야 합니다. 안타깝게도 엔지니어들은 솔루션의 데이터 처리 소프트웨어 요소에 지나치게 집중한 나머지 데이터 아키텍처 자체에는 충분한 관심을 기울이지 않는 경우가 많습니다. 이로 인해 내부 워크플로를 개선하고 새로운 파생 고객 서비스를 출시하는 데 상당한 노력과 시간이 소요되는 경우가 많습니다. 이 글에서 살펴보듯이 데이터 아키텍처, 즉 데이터 어휘, 표현 방식, 메타데이터 전략을 사전에 면밀히 설계하는 것은 민첩하고 견고한 데이터 기반 비즈니스를 뒷받침하는 기술적 토대입니다.

작성자 소개

Ken Arora

Ken Arora의 다른 블로그 게시물