데이터 아키텍처의 근본적인 역할(분석 중심의 세계에서)

Ken Arora

군대에는 이런 말이 있습니다. “아마추어는 전술을 논하지만, 프로는 군수 지원을 연구한다.” 챈슬러즈빌 전투에서 보여 준 리의 탁월함이나 포에니 전쟁에서 발휘된 한니발의 천재성을 떠올리면, 이 말이 언뜻 의외로 들릴 수도 있습니다. 하지만 역사가 보여 주듯 리도 한니발도 각자의 전쟁에서 승리하지 못했습니다. 가장 큰 이유는 군수 지원, 즉 적절한 시간과 장소에 군대가 필요로 하는 식량과 의복, 무기를 계속 공급할 수 있는 능력에 있었습니다. 뛰어난 전술에도 불구하고, 궁극적으로 승패를 가른 것은 군수 지원이었습니다. 다시 말해, 전술은 전장에서 보유한 자산을 최대한 활용하게 해 주지만, 애초에 전장에 나서고 그곳에 계속 머물 수 있게 해 주는 것은 군수 지원입니다.

저는 이 군사적 비유가 오늘날 데이터 기반 솔루션이 흔히 묘사되는 방식과 유사하다고 생각하기 때문에 마음에 듭니다. 딥 러닝, 랜덤 포레스트 분류, 그래디언트 부스팅 등 첨단 AI 기법이라는 화려한 ‘전술’은 이러한 고급 기법을 가능하게 하는 데이터 아키텍처 기반이라는 상대적으로 덜 매력적인 ‘군수’를 자주 가립니다.

데이터 아키텍처에 관한 논의의 첫 단계는 ‘데이터 아키텍처’라는 개념이 포괄하는 범위를 정의하는 것입니다. 예상할 수 있듯이 그 답은 단순하지 않으며, 여러 계층과 측면으로 이루어져 있습니다. 논의를 구체화하려면 먼저 수집된 텔레메트리 데이터가 거치는 여정의 관점에서 생각해 보는 것이 유용합니다. 아래 다이어그램은 상위 수준의 데이터 파이프라인을 보여 주며, 파이프라인과 데이터 아키텍처 기반이 맞닿는 지점을 강조합니다.

각 데이터 요소의 여정은 생성에서 시작되며, 일반적으로 일정 수준의 전처리를 거친 후 직렬화되어 대개 클라우드에 위치한 데이터 수집기/애그리게이터로 전송됩니다. 그런 다음 데이터 수집기는 역직렬화 및 수집 후 추가 처리와 보강을 수행한 뒤, 데이터를 영구 데이터 저장소에 전달하거나 데이터 분석 파이프라인에 제공할 수 있습니다. 마지막으로 보강 및 분석된 결과는 시각화 플랫폼을 통해 사람이 활용할 수 있도록 제공되며, 자동 튜닝 또는 자동 복구 폐루프 시스템을 위한 피드백 입력 형태로 자동화 시스템에서 사용될 수도 있습니다.

데이터 파이프라인의 맥락을 살펴보았으므로, 이제 ‘데이터 아키텍처’가 무엇을 의미하는지에 대한 질문으로 돌아가 보겠습니다. 가장 표면적인 수준에서의 첫 번째 답은 데이터 표현 및 직렬화 구문에 초점을 맞춥니다. 예를 들어 데이터 이벤트에 ‘customer’라는 객체 필드가 포함되어 있다면, 구문적 관점에서는 해당 데이터가 문자열로 표현되는지, 정수형 UUID로 표현되는지, 아니면 다른 형식으로 표현되는지를 결정합니다.

하지만 조금 더 깊이 들어가 보면, 두 번째 답은 단순한 구문 이상의 문제와 관련이 있습니다. 즉, 데이터 내용에 대해 명확히 정의되고 일관된 해석을 제공하는 데이터의 의미론에 관한 것입니다. 다시 한번 ‘customer’ 필드를 예로 들어, 구문에 관한 질문에는 이미 답이 나왔으며 해당 데이터 요소가 실제로 문자열 필드로 정의되었다고 가정해 보겠습니다. 다음으로 데이터 아키텍처는 의미와 해석에 관한 질문에 답할 수 있어야 합니다. 이 필드의 의미는 개인의 이름입니까, 아니면 회사명입니까? 개인의 이름이라면 <last-name>입니까, <first-name>입니까, 아니면 둘 다입니까? 일관된 의미론을 통일된 구문과 결합하면, 데이터 파이프라인은 데이터 내용에 대한 일관된 논리적 해석을 바탕으로 데이터 필터링 및 집계와 같은 기능을 범용적이고 안정적으로 수행할 수 있습니다. 또한 생성된 데이터가 일관된 구문과 의미론을 따르는 한, 데이터 저장소는 서로 다른 데이터 생성 파이프라인 인스턴스에 걸쳐 연합 데이터 쿼리도 손쉽게 수행할 수 있습니다.

마지막으로 한층 더 깊이 살펴보면, 많은 경우 데이터 아키텍처에는 세 번째 역량이 필요합니다. 바로 텔레메트리에 맥락을 부여하고 데이터 자체를 해석하기 위한 어휘, 즉 메타데이터 어휘입니다. 이는 규정 준수나 감사뿐 아니라 데이터 웨어하우스에서 관리되는 데이터를 종합적으로 이해해야 하는 내부 워크플로 등 기업의 데이터 거버넌스 요구 사항을 충족하는 데 특히 중요합니다. 메타데이터는 흔히 데이터에 주석을 추가하는 형태로 제공되며, 이러한 주석에도 데이터 자체와 동일한 수준의 구문적·의미적 일관성이 적용됩니다. 예를 들어 법적 데이터 보존 요건을 준수하기 위해 메타데이터 필드를 사용하여 데이터 소스의 식별 정보와 수집된 데이터의 처리 일정을 기록할 수 있습니다.

데이터 설명 스키마의 어휘 체계에서 메타데이터 필드를 활용하는 또 다른 방법은 데이터 요소의 순서성이나 개인정보 보호 민감도와 같은 데이터 필드 자체의 특성을 기술하는 것입니다. 앞서 살펴본 ‘customer’ 데이터 필드의 예로 다시 돌아가 보면, 데이터 스키마의 메타데이터 주석을 통해 해당 데이터 요소를 고유로 표시할 수 있으며, 데이터 스트림(예: 소매 구매 거래)의 맥락에서는 추가 주석을 통해 데이터 요소를 필수 및 단일 항목—으로 표시할 수 있습니다. 다시 말해, 메타데이터를 사용하여 customerID 필드는 고유해야 하고(데이터베이스의 기본 키로 사용 가능), 각 구매 이벤트에는 반드시 하나의 customerID만 연결되어야 한다고 명시할 수 있습니다. 데이터 파이프라인의 맥락에서 이러한 메타데이터 기능 전반이 지니는 유용성은 데이터 규정 준수를 위한 주석을 추가하고, 데이터 보강을 위한 어휘 체계를 제공하며, 데이터 웨어하우스를 위한 유연한 거버넌스 워크플로를 구현하는 데 활용할 수 있다는 점입니다.

요약하자면, “데이터 아키텍처란 무엇인가?”라는 질문에 대한 답은 최소한 수집되는 데이터의 구문적·의미적 일관성을 보장하는 프레임워크를 제공하는 것이라고 할 수 있습니다. 또한 견고한 데이터 아키텍처에는 데이터에 대한 제약 조건을 명시할 뿐만 아니라 데이터 자체를 분석하고 추론할 수 있을 만큼 강력한 메타데이터 전략도 포함되어야 합니다.

따라서 데이터 아키텍처를 명확한 중점 영역으로 삼아 제대로 구축하면, 훌륭한 군수 인프라와 매우 유사한 역할을 합니다. 군사적 맥락에서와 마찬가지로, 데이터 아키텍처는 그 위에 구축되는 시스템의 모든 구성 요소가 더욱 효율적이고 안정적으로 작동하도록 뒷받침하는 기반을 제공하며, 눈에 더 잘 띄는 시스템들이 최대한의 효과를 발휘할 수 있게 합니다. 데이터 처리 시스템의 맥락에서 데이터 아키텍처 기반은 더욱 유연하고 강력한 데이터 거버넌스 모델, 견고한 데이터 웨어하우스를 활용한 데이터 소스 간의 손쉬운 데이터 공유, 그리고 비즈니스 민첩성을 높이기 위해 새로운 데이터 피드를 더욱 신속하게 수집하는 접근 방식의 토대가 됩니다.

작성자 소개

Ken Arora

Ken Arora의 다른 블로그 게시물