Data Catalog 구축을 통해 Data Lake 플랫폼을 완성하자!

Data Catalog 서비스는 Data Lake 플랫폼을 활용하기 위해 반드시 통과해야 하는 관문(Gateway)입니다. Data Catalog를 통해서 사용자는 필요한 데이터를 검색하고, 이해하고, 활용할 수 있습니다. 그리고 Data Catalog를 통해 메타데이터를 생성하고, 사용자가 생성한 객체를 배포하여 “데이터의 자산화”가 가능합니다. 또한 다양한 데이터 분석 도구와의 연계를 통해 활용성을 향상시킬 수 있습니다. 기업의 빅데이터를 자산화하고 활용성을 높이기 위해서는 반드시 Data Catalog를 구축해야 합니다!

- Data Catalog의 개념과 중요성
- Data Catalog의 주요 기능 만들기
- Data Catalog 구현절차
- Data Catalog의 미래 발전 방향

경영/IT 컨설턴트, Data Lake 연구가

1999년 S/W 개발자로 커리어를 시작하여, 15년 이상 경영 컨설턴트와 IT 컨설턴트로서 업무를 수행해 왔다. 주로 IT 전략 기획 업무를 수행하였으며, 최근에는 빅데이터 전략, 데이터 플랫폼 전략, 최근에는 Data Lake 프로젝트 수행과 관련 문헌 작성에 전념하고 있다.

학력
- 경남과학고등학교 졸업
- KAIST 기계공학과 학사
- KAIST 경영대학원 경영정보 MBA

주요 경력
- 시스템 엔지니어(LG CNS)
- 경영/IT 컨설턴트(A.T. Kearney / (전)밸텍컨설팅 / 딜로이트컨설팅)

머리말 4


제1장 Data Catalog란 무엇인가?
1. Data Lake 플랫폼19
2. Data Lake 플랫폼에서 Data Catalog의 역할24
3. Data Catalog vs. 상품 카탈로그27
4. Data Catalog의 정의31
5. Data Catalog의 주요 기능32
6. 기존 ‘메타데이터 관리 시스템’과의 차이점38


제2장 Data Catalog는 왜 중요한가?
1. Data Lake 플랫폼의 출발점이자 관문42
2. 전사 데이터의 자산화43
3. 데이터 도구의 활용성 향상45
4. Data Catalog의 실패는 ‘데이터 늪’46


제3장 Data Catalog 주요 기능 만들기
1. 사용자 Front-End 기능51
1-1. 카탈로그 검색51
1-2. 카탈로그 조회62
1-3. 데이터 수집 요청(VoC)82
1-4. 데이터 질의응답84
1-5. 카탈로그 큐레이션85
1-6. 실데이터 조회87
1-7. 실행 스케줄러91
1-8. 데이터 전처리 도구와의 연계92
1-9. 데이터 분석 도구와의 연계93
1-10. 용어사전 관리95
1-11. My Catalog97
2. Back-End 기능98
2-1. 메타데이터 수집98
2-2. 메타데이터 추천(M/L)104
2-3. 검색엔진 색인 생성107
2-4. 쿼리 로그 수집/파싱108
2-5. 데이터 프로파일링113
2-6. 데이터 활용 현황 집계118
2-7. 데이터 배치 처리120
2-8. 데이터 보안 처리121
3. 관리자 기능126
3-1. 데이터 활용 현황판(대시보드)127
3-2. 카테고리 관리129
3-3. 데이터 요청(VoC) 처리132
3-4. 데이터 Life Cycle 관리134
3-5. 데이터 품질 관리139
3-6. 플랫폼 보안 관리143
3-7. 플랫폼 모니터링146


제4장 Data Catalog 개발 절차
1. 자체 개발 vs. 솔루션 도입 의사결정155
2. 단계별 구현 로드맵 수립163
3. 메타데이터 구축 모듈170
3-1. 대상 ‘데이터 객체’ 범위 정의171
3-2. ‘데이터 Steward’ 지정176
3-3. ‘데이터 객체’ 유형별 메타데이터 관리 항목 정의177
3-4. 항목별 메타데이터 수집 방법 및 기능 설계179
3-5. 메타데이터 관련 Back-End 기능 개발181
3-6. 카탈로그 큐레이션184
4. Data Pipeline 구축 모듈188
4-1. 원천 데이터 수집 범위 정의188
4-2. ‘데이터 오너’ 지정190
4-3. Data Pipeline 설계191
4-4. Data Pipeline 개발194
4-5. 원천 데이터 수집195
5. Front-End 구축 모듈196
5-1. Data Catalog Front-End 요건 정의196
5-2. Data Catalog Front-End 기능 설계198
5-3. Data Catalog Front-End 기능 개발199
6. 변화관리 모듈200
6-1. 변화관리 계획 수립201
6-2. 사용자 그룹별 커뮤니케이션203
6-3. 사용자 변화관리205
7. 통합 테스트207


제5장. Data Catalog의 미래 발전 방향
1. 전사 통합 데이터 포털212
2. ‘지식 포털’과의 통합213
3. 데이터 분석 관련 모든 기능의 통합215
4. ‘전사 DA 시스템’과의 통합217
5. AI 기반 카탈로그 큐레이션219
6. 개인화된 콘텐츠 추천221


참고자료 223