데이터를 다루는 일을 하는 사람들이라면
누구나 읽어보고, 알아보고 싶었던 ‘데이터 품질’
데이터가 곧 가치인 시대, 성패는 데이터 품질에 달려있다!
이 책은 신뢰할 수 없는 데이터로 고통받고, 내적 비명을 지르며 이 상황을 개선하기 위해 무언가 하고 싶어 하는 모든 이들을 위한 길잡이다. 기본적으로 이 책은 데이터를 정제하고 이해하는 방법을 다룬 매뉴얼처럼 보인다. 그러나 여기서 더 나아가 보다 안정적인 데이터 시스템을 구축하고 그 과정에서 조직 및 이해관계자와 데이터 신뢰를 구축하는 모범 사례, 도구 및 프로세스까지 설명한다. 책을 다 읽었을 때, 최소한 조직 전반에서 데이터 품질과 신뢰성의 우선순위를 정할 때 써먹을 만한 몇 가지 요령을 터득하길 바란다. 데이터 신뢰는 하루아침에 완성되지 않는다. 올바른 접근 방식을 기반으로, 파이프라인 하나하나가 점진적으로 쌓인다.
데이터 신뢰성 솔루션 회사 몬테카를로(Monte Carlo)의 CEO 겸 공동 설립자로, 데이터 분야에서 10여 년간 일했다. 이스라엘 공군의 데이터 인텔리전스 부대 사령관, 베인앤컴퍼니(Bain&Company)의 컨설턴트, 게인사이트(Gainsight)의 운영 부사장으로 재직하면서 데이터 및 분석 팀을 구성하고 이끌었다. 또한 데이터 엔지니어 분야의 화두인 데이터 통합 옵저버빌리티를 주제로 한 오라일리의 첫 번째 강좌에서 강연자로 나섰다. 그녀는 데이터 옵저버빌리티 관련 어려움을 겪고 있는 수백 개의 데이터 조직과 협업하며, 현장에서 얻은 생생한 영감을 바탕으로 ‘데이터 다운타임’ 문제를 식별하고 해결하며 예방하는 솔루션을 개발하고 있다. 데이터 다운타임이란 데이터가 누락됐거나, 부정확하거나, 데이터에 오류가 있어 생기는 문제를 말한다. 그녀는 데이터 조직들이 이 책을 통해 기술적·조직적·문화적 모범 사례를 배워서 대규모로 양질의 데이터 품질을 달성할 수 있기를 바라며, 본인의 경험과 교훈을 공유했다.
CHAPTER 1 지금, 데이터 품질에 주목해야 하는 이유
1.1 데이터 품질이란?
1.2 데이터 품질의 현재
1.3 마치며
CHAPTER 2 신뢰할 수 있는 데이터 시스템 구축을 위한 블록 조립
2.1 운영 데이터와 분석 데이터의 차이
2.2 차이는 어떻게 만들어지는가?
2.3 데이터 웨어하우스 vs 데이터 레이크
2.4 데이터 품질 지표 수집
2.5 데이터 카탈로그 설계
2.6 데이터 카탈로그 구축
2.7 마치며
CHAPTER 3 데이터 수집 · 정제 · 변환 · 테스트
3.1 데이터 수집
3.2 데이터 정제
3.3 배치 처리 vs 실시간 처리
3.4 실시간 처리를 위한 데이터 품질
3.5 데이터 정규화
3.6 분석 데이터 변환 실행
3.7 테스트 및 경고 알람 시스템
3.8 아파치 에어플로를 활용한 데이터 품질 관리
3.9 마치며
CHAPTER 4 데이터 파이프라인 모니터링 및 이상 탐지
4.1 알려진 미지와 알려지지 않은 미지
4.2 이상 탐지 알고리즘 구축
4.3 스키마 및 계보를 위한 모니터 구축
4.4 파이썬과 머신러닝으로 이상 탐지 확장
4.5 이상 탐지의 심화 과정: 기타 유용한 접근법
4.6 데이터 품질 모니터 설계: 데이터 웨어하우스 vs 데이터 레이크
4.7 마치며
CHAPTER 5 데이터 신뢰성을 위한 아키텍처
5.1 수집 단계에서 높은 데이터 신뢰성 측정 및 유지
5.2 파이프라인에서 높은 데이터 품질 측정 및 유지
5.3 데이터 품질 다운스트림
5.4 데이터 플랫폼 구축
5.5 데이터 신뢰 구축
5.6 [사례 연구] 블링키스트
5.7 마치며
CHAPTER 6 대규모 데이터 품질 문제 해결
6.1 소프트웨어 개발 시 품질 문제 조정
6.2 데이터 사고 관리
6.3 사고 대응 및 완화
6.4 [사례 연구] 페이저듀티의 데이터 사고 관리
6.5 마치며
CHAPTER 7 엔드 투 엔드 데이터 계보 구축
7.1 최신 데이터 시스템을 위한 엔드 투 엔드 필드 레벨 데이터 계보 구축
7.2 [사례 연구] 폭스의 데이터 신뢰성을 위한 아키텍처
7.3 마치며
CHAPTER 8 데이터 품질 민주화
8.1 데이터를 프로덕트로 다루는 시각
8.2 데이터를 프로덕트로 다루는 사례
8.3 데이터 플랫폼을 향한 신뢰 축적
8.4 데이터 품질 책임 할당
8.5 데이터 품질 보장을 위한 책임감 조성
8.6 데이터 접근성과 신뢰 간 균형
8.7 데이터 인증
8.8 데이터 인증 프로그램 실행 7단계
8.9 [사례 연구] 적합한 데이터 조직을 찾는 토스트의 여정
8.10 데이터 리터러시 함양
8.11 데이터 거버넌스와 컴플라이언스
8.12 데이터 품질 전략 수립
8.13 마치며
CHAPTER 9 현실에서의 데이터 품질: 전문가 대담과 사례 연구
9.1 데이터 품질 향상을 위한 데이터 메시 구축
9.2 왜 데이터 메시인가?
9.3 자마크 데가니와의 대화: 데이터 메시에서 데이터 품질의 역할
9.4 [사례 연구] 콜리브리 게임즈의 데이터 스택 여정
9.5 비즈니스에 메타데이터 활용
9.6 데이터 검색에서 얻는 메타데이터의 가치
9.7 데이터 품질 관리 시기 결정
9.8 마치며
CHAPTER 10 신뢰할 수 있는 데이터 시스템의 미래 개척
10.1 사후 대응이 아닌 사전 예방적 대응
10.2 데이터 품질 및 신뢰성의 미래 예측
10.3 이제부터 우리는 무엇을 해야 할까?
찾아보기
