🔍 데이터 품질

데이터 품질

데이터 거버넌스, 모니터링, 검증

🔍 데이터 품질이란?

데이터 품질은 데이터의 정확성, 완전성, 일관성, 적시성 등을 보장하는 중요한 분야입니다. 데이터 거버넌스, 품질 모니터링, 검증 시스템을 통해 신뢰할 수 있는 데이터 환경을 구축합니다.

🔍 주요 영역

📋

데이터 거버넌스

데이터 정책, 표준, 프로세스를 정의하고 관리하여 데이터 자산의 가치를 극대화

📊

품질 모니터링

실시간으로 데이터 품질 지표를 추적하고 이상 상황을 감지하여 신속한 대응

데이터 검증

데이터의 정확성과 일관성을 검증하는 규칙과 프로세스 구축

🔄

품질 개선

품질 문제를 식별하고 지속적으로 개선하는 체계적인 접근 방법

📝 관련 포스트

📚 Data quality 포스트

dbt를 활용한 데이터 품질 관리 완전 가이드 - 현대적 데이터 파이프라인의 핵심

📚 Modern data stack Part 2
🔍

준비 중인 포스트들

데이터 품질 관련 추가 포스트들이 곧 공개됩니다!

Great Expectations 데이터 거버넌스 품질 모니터링 데이터 검증 데이터 드리프트 감지 자동화된 품질 관리

🛠️ 주요 도구들

데이터 검증

  • Great Expectations
  • Deequ
  • Monte Carlo
  • Anomalo

품질 모니터링

  • DataHub
  • Amundsen
  • Data Catalog
  • Collibra

거버넌스

  • Apache Atlas
  • Data Governance
  • Data Lineage
  • Data Dictionary