빅데이터, 데이터 엔지니어링, 머신러닝을 위한 대용량 데이터 분석과 처리의 모든 것협업과 신속함을 갖춘 작업 공간을 구축하는 동시에 페타바이트 규모의 데이터셋을 처리해보자. 이 책은 기업 전체에서 추출한 데이터를 통합하고 대화형 데이터 분석과 대규모 데이터셋 기반의 머신러닝을 가능케 하는 쿼리 엔진을 제공하는 구글 빅쿼리에 대한 완벽 가이드다. 기업은 빅쿼리를 사용해 하나의 편리한 프레임워크로 데이터를 효율적으로 저장, 쿼리, 수집, 학습할 수 있다. 이 책의 저자 발리아파 락쉬마난과 조던 티가니는 공개 클라우드 상에서 자동으로 확장되는 서버리스 아키텍처에 기반한 최신 데이터 웨어하우징을 위한 모범 사례를 제시하고 있다. 이제 막 빅쿼리를 시작하면서 전반적인 기능을 훑어보고자 하는 독자는 물론 빅쿼리를 이용해 특정 업무를 해결하고자 하는 독자에게도 완벽한 가이드가 되어 줄 것이다.
구글 클라우드의 데이터와 머신 러닝 전문 서비스에 대한 기술 책임자다. 머신 러닝을 민주화해서 어느 곳에서 어느 사용자가 사용하든 하드웨어를 많이 갖고 있지 않아도, 통계나 프로그래밍을 깊이 있게 알지 못해도 구글의 놀라운 인프라를 사용할 수 있게 돕는다. 구글에서 근무하기 전에는 클라이미트 코퍼레이션(Climate Corporation)에서 데이터 과학자 팀을 이끌었고, NOAA 국립 폭풍 연구소의 연구 과학자로 혹독한 날씨의 진단 및 예측을 위한 머신 러닝 애플리케이션을 운영했다.
빅쿼리를 비롯한 구글 클라우드 데이터 분석 및 머신러닝 제품을 사용한 비즈니스 문제에 대한 소프트웨어 솔루션을 구축하는 팀을 이끌고 있다. 『구글 클라우드 플랫폼상의 데이터 과학』(에이콘출판, 2019)을 집필했다.
[1장] 구글 빅쿼리데이터 처리 아키텍처__관계형 데이터베이스 관리 시스템__맵리듀스 프레임워크__빅쿼리: 서버리스, 분산 SQL 엔진빅쿼리로 작업하기__여러 데이터셋에서 통찰력 도출하기__ETL, EL, ELT__강력한 분석__관리의 단순함빅쿼리는 어떻게 만들어졌는가빅쿼리는 어떻게 구현할 수 있었을까__컴퓨팅 및 스토리지 분리__스토리지 및 네트워킹 인프라__관리형 저장소__구글 클라우드 플랫폼과 통합__보안 및 규정 준수정리[2장] 쿼리 필수 요소간단한 쿼리__SELECT로 행 검색하기__AS로 컬럼 이름에 별칭 지정하기__WHERE로 필터링하기__SELECT *, EXCEPT, REPLACE__WITH를 사용한 서브 쿼리__ORDER BY로 정렬하기집계__GROUP BY로 집계하기__COUNT로 레코드 수 세기__HAVING으로 그룹화된 항목 필터링하기__DISTINCT로 고윳값 찾기배열과 구조체 기초__ARRAY_AGG로 배열 만들기__구조체의 배열__튜플__배열 활용하기__배열 풀기테이블 조인__조인의 작동 원리__이너 조인__크로스 조인__아우터 조인저장 및 공유__쿼리 기록 및 캐싱__저장된 쿼리__뷰와 공유 쿼리의 비교정리[3장] 데이터 타입, 함수, 연산자숫자형과 함수__수학 함수__표준 규격 부동 소수점 분할__SAFE 함수__비교__NUMERIC을 사용한 정밀 소수 계산불(BOOL) 다루기__논리 연산__조건식__COALESCE로 NULL 값을 깨끗하게 처리하기__타입 변환과 타입 강제__불리언 변환을 피하기 위해 COUNTIF 사용하기문자열 함수__국제화__출력 및 파싱__문자열 조작 함수__변환 함수__정규 표현식__문자열 함수 정리타임스탬프 다루기__타임스탬프 값의 파싱과 형식화__달력 정보 추출하기__타임스탬프 연산하기__Date, Time 그리고 DateTimeGIS 함수 사용하기정리[4장] 빅쿼리로 데이터 로드하기가장 기본적인 방법__로컬에서 데이터 로드하기__스키마 지정하기__새 테이블에 복사하기__데이터 관리(DDL과 DML)__데이터를 효율적으로 로드하기통합 쿼리와 외부 데이터 원본__통합 쿼리 사용하기__통합 쿼리와 외부 데이터 원본의 사용 사례__대화형 탐색과 구글 시트 데이터의 쿼리__클라우드 빅테이블의 데이터에 대한 SQL 쿼리전송과 내보내기__데이터 전송 서비스__스택드라이버 로그 내보내기__클라우드 데이터플로우로 빅쿼리 데이터 읽고 쓰기온프레미스 데이터의 이동__데이터 마이그레이션 방법정리[5장] 빅쿼리를 활용한 개발프로그래밍 방식을 활용한 개발__REST API 활용하기__구글 클라우드 클라이언트 라이브러리데이터 과학 도구에서 빅쿼리 사용하기__구글 클라우드 플랫폼의 노트북__빅쿼리, 판다스, 그리고 주피터의 결합__R에서 빅쿼리 다루기__클라우드 데이터플로우__JDBC/ODBC 드라이버__빅쿼리 데이터를 G 스위트의 구글 슬라이드에 포함하기빅쿼리와 배시 스크립팅__데이터셋과 테이블 생성__쿼리의 실행__빅쿼리 객체정리[6장] 빅쿼리 아키텍처아키텍처 살펴보기__쿼리 요청의 수명__빅쿼리 업그레이드쿼리 엔진(드레멜)__드레멜 아키텍처__쿼리 실행스토리지__스토리지 데이터__메타데이터정리[7장] 성능 및 비용 최적화성능 최적화의 기본 원칙__성능의 핵심 요소__비용 통제하기측정과 문제 해결__REST API로 쿼리 속도 측정하기__빅쿼리 워크로드 테스터로 쿼리 속도 측정하기__스택드라이버를 사용해 워크로드 문제 해결하기__쿼리 실행 계획 정보 읽기__작업 세부 정보에서 쿼리 계획 정보 가져오기__쿼리 계획 정보 시각화쿼리 속도 높이기__I/O 최소화__이전 쿼리 결과 캐싱하기__효율적으로 조인하기__워커의 과도한 작업 피하기__근사 집계 함수 사용하기데이터 저장 및 접근 방법 최적화__네트워크 오버헤드 최소화하기__효율적인 저장 포맷 선택하기__스캔 크기를 줄이기 위해 테이블 파티셔닝하기__높은 카디널리티 키에 기반한 클러스터링 테이블__시간에 구애받지 않는 사용 사례정리__체크리스트[8장] 고급 쿼리재사용 가능한 쿼리__파라미터화된 쿼리__SQL 사용자 정의 함수__쿼리 일부 재사용하기고급 SQL__배열 다루기__윈도우 함수__테이블 메타데이터__데이터 정의 언어와 데이터 조작 언어SQL 이상의 기능__자바스크립트 사용자 정의 함수__스크립팅고급 함수__빅쿼리 지리 정보 시스템__유용한 통계 함수들__해시 알고리즘정리[9장] 빅쿼리 머신러닝머신러닝이란__머신러닝 문제 공식화하기__머신러닝 문제의 유형회귀 모델 생성하기__레이블 선택하기__피처를 찾기 위한 데이터셋 탐색__학습 데이터셋 생성하기__모델 학습 및 평가__모델로 예측하기__모델 가중치 검사하기__더 복잡한 회귀 모델분류 모델 생성하기__학습__평가__예측__임계값 고르기빅쿼리 ML 커스텀하기__데이터 분할 제어하기__클래스 균형 맞추기__정규화k 평균 클러스터링__어떤 것을 클러스터링할까__자전거 대여소 클러스터링하기__클러스터링 수행하기__클러스터 이해하기__데이터 기반 의사 결정추천 시스템__무비렌즈 데이터셋__행렬 분해__추천 만들기__사용자와 영화 정보 통합하기GCP의 커스텀 머신러닝 모델__하이퍼파라미터 튜닝__AutoML__텐서플로우 지원정리[10장] 빅쿼리 관리 및 보안인프라스트럭처 보안계정 및 접근 관리__계정__역할__리소스빅쿼리 관리__작업 관리__사용자에게 권한 부여__삭제된 레코드와 테이블의 복구__지속적 통합/지속적 배포__대시보드와 모니터링, 그리고 감사 로깅가용성과 재해 복구, 암호화__존과 리전 그리고 멀티리전__빅쿼리와 장애 처리__내구성과 백업 그리고 재해 복구__개인정보 보호와 암호화규제의 준수__데이터 지역성__데이터의 서비스에 대한 접근 제한__개인과 관련된 모든 트랜잭션 제거하기__데이터 유실 방지__CMEK__데이터 유출 보호정리[한국어판 특별 부록] 클라우드 컴포저와 빅쿼리로 ELT 파이프라인 만들기ELT 파이프라인의 큰 그림클라우드 컴포저란클라우드 컴포저 생성 및 환경 설정클라우드 컴포저 웹 서버 UI DAG 만들기ELT 파이프라인 만들기
