실용적인 데이터 엔지니어링의 세계로 이끄는 최고의 안내서!고객 요구 사항에 맞는 시스템을 계획하고 구축하는 방법데이터 엔지니어링 분야가 빠르게 성장하면서 많은 소프트웨어 엔지니어와 데이터 과학자, 분석가가 해당 분야에 대한 포괄적인 관점을 새롭게 모색하고 있다. 이 실용적인 책은 데이터 엔지니어링 수명 주기의 프레임워크를 소개하고 사용 가능한 최고의 기술을 평가한다. 또한 다양한 클라우드 기술을 결합함으로써 다운스트림 데이터를 소비하는 조직과 고객의 요구 사항에 따라 시스템을 계획하고 구축하는 구체적인 방법을 알려준다. 이 책을 다 읽고 나면 기본 기술과 관계없이 모든 데이터 환경에 중요한 데이터 생성, 수집, 오케스트레이션, 변환, 저장 및 거버넌스의 개념을 적용하는 방법을 이해할 수 있다.
데이터 업계에 20년 동안 몸담은 비즈니스 마인드의 데이터 괴짜. 통계 모델링, 예측, 머신러닝, 데이터 엔지니어링, 데이터 아키텍처 등 다양한 업무를 담당했다. 미국 유타주 솔트레이크시티에 위치한 데이터 엔지니어링 및 아키텍처 컨설팅 업체인 터너리 데이터(Ternary Data)의 CEO이자 공동 설립자다. 현재 여러 기술 그룹에서 자원봉사를 하고 있으며 유타 대학교에서 강의도 한다. 여가 시간에는 암벽 등반, 전자 음악 제작 등을 즐기며, 아이들과 함께 멋진 모험을 떠나는 것을 좋아한다.
[PART I 데이터 엔지니어링 기반 구축하기]CHAPTER 1 데이터 엔지니어링 상세_1.1 데이터 엔지니어링이란?_1.2 데이터 엔지니어링 기술과 활동_1.3 조직 내 데이터 엔지니어_1.4 결론_1.5 참고 문헌CHAPTER 2 데이터 엔지니어링 수명 주기_2.1 데이터 엔지니어링 수명 주기란? _2.2 데이터 엔지니어링 수명 주기의 드러나지 않는 주요 요소 _2.3 결론_2.4 참고 문헌 CHAPTER 3 우수한 데이터 아키텍처 설계_3.1 데이터 아키텍처란?_3.2 우수한 데이터 아키텍처의 원칙_3.3 주요 아키텍처 개념_3.4 데이터 아키텍처의 사례 및 유형_3.5 데이터 아키텍처 설계 담당자는 누구인가?_3.6 결론_3.7 참고 문헌CHAPTER 4 데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택_4.1 팀의 규모와 능력_4.2 시장 출시 속도_4.3 상호 운용성_4.4 비용 최적화 및 비즈니스 가치_4.5 현재 vs 미래: 불변의 기술과 일시적 기술 비교_4.6 장소: 온프레미스, 클라우드, 하이브리드 클라우드, 멀티클라우드_4.7 구축과 구매 비교_4.8 모놀리식과 모듈식 비교_4.9 서버리스와 서버 비교_4.10 최적화, 성능, 벤치마크 전쟁_4.11 데이터 엔지니어링 수명 주기의 드러나지 않는 요소_4.12 결론_4.13 참고 문헌[PART II 데이터 엔지니어링 수명 주기 심층 분석]CHAPTER 5 1단계: 원천 시스템에서의 데이터 생성_5.1 데이터 원천: 데이터는 어떻게 생성될까?_5.2 원천 시스템: 주요 아이디어_5.3 원천 시스템의 실질적인 세부 사항_5.4 함께 작업할 대상_5.5 드러나지 않는 요소가 원천 시스템에 미치는 영향_5.6 결론_5.7 참고 문헌CHAPTER 6 2단계: 데이터 저장_6.1 데이터 스토리지의 기본 구성 요소_6.2 데이터 스토리지 시스템_6.3 데이터 엔지니어링 스토리지 개요_6.4 스토리지의 주요 아이디어와 동향_6.5 함께 작업할 대상_6.6 드러나지 않는 요소_6.7 결론_6.8 참고 문헌CHAPTER 7 3단계: 데이터 수집_7.1 데이터 수집이란?_7.2 수집 단계의 주요 엔지니어링 고려 사항_7.3 배치 수집 고려 사항_7.4 메시지 및 스트림 수집에 관한 고려 사항_7.5 데이터 수집 방법_7.6 함께 일할 담당자_7.7 드러나지 않는 요소_7.8 결론_7.9 참고 문헌CHAPTER 8 4단계: 쿼리 모델링 및 데이터 변환_8.1 쿼리_8.2 데이터 모델링_8.3 변환_8.4 함께 일할 담당자_8.5 드러나지 않는 요소_8.6 결론_8.7 참고 문헌CHAPTER 9 5단계: 분석, 머신러닝 및 역 ETL을 위한 데이터 서빙_9.1 데이터 서빙의 일반적인 고려 사항_9.2 분석_9.3 머신러닝_9.4 데이터 엔지니어가 ML에 관해 알아야 할 사항_9.5 분석 및 ML을 위한 데이터 서빙 방법_9.6 역 ETL_9.7 함께 작업하는 사람_9.8 드러나지 않는 요소_9.9 결론_9.10 참고 문헌[PART III 보안, 개인정보보호 및 데이터 엔지니어링의 미래]CHAPTER 10 보안과 개인정보보호_10.1 사람_10.2 프로세스_10.3 기술_10.4 결론_10.5 참고 문헌CHAPTER 11 데이터 엔지니어링의 미래_11.1 사라지지 않는 데이터 엔지니어링 수명 주기_11.2 복잡성의 감소와 사용하기 쉬운 데이터 도구의 부상_11.3 클라우드 규모의 데이터 OS와 향상된 상호 운용성_11.4 ‘엔터프라이즈’ 데이터 엔지니어링_11.5 직책과 책임의 변화_11.6 모던 데이터 스택을 넘어 라이브 데이터 스택으로_11.7 결론APPENDIX A 직렬화와 압축 기술 상세APPENDIX B 클라우드 네트워킹에필로그찾아보기
