데이터 과학자라면 피할 수 없는 데이터 클리닝 작업은 수집과 분석, 정제에 이르기까지 데이터 과학의 효율을 높이는 일반적인 절차다. 기존 책들이 주로 첫 장에서만 다루던 데이터 준비 과정에 대한 필수 내용을 구체화했고, 실제 데이터 과학에서 응용할 수 있는 기술을 전달한다. 데이터 클리닝 작업을 수행하기 위한 도구와 기술을 설명하고, 새로 습득한 기술을 테스트하고 개선해볼 수 있도록 각 장의 끝 부분에 자세한 실습이 수록돼 있다.
25년이라는 오랜 시간 동안 파이썬 커뮤니티의 일원으로 활동하고 있으며, 파이썬 언어의 발전을 밀접하게 따라오면서 버전별 변경 사항에 대해 기조 강연을 하고, 프로그래밍 초보자, 다른 언어 기반의 개발자, 데이터 과학자에게 파이썬을 가르쳤다. 개발자와 데이터 과학자에게 기계 학습과 과학 컴퓨팅을 교육하는 KDM Training의 설립자로, Anaconda Inc.를 위한 데이터 과학 교육 프로그램을 만들었으며 수석 교육자로 활동하였다. 깊은 신경망(deep neural network)의 등장과 함께 로봇 지배자를 교육하는 데도 눈을 돌려 D.E. Shaw Research에서 8년 동안 근무했다. 6년 동안 PSF의 이사로 활동했으며, 지금도 PSF의 상표 위원회와 과학 파이썬 작업 그룹의 공동 의장을 맡고 있다. 2000년대에 쓴 「매력적인 파이썬(Charming Python)」과 「XML 문제(XML matters)」 칼럼은 파이썬 세계에서 가장 널리 읽힌 글이다. 팩트(Packt), 오라일리(O'Reilly), 애디슨 웨슬리(Addison-Wesley)를 통해 집필서를 출간했으며, 여러 국제 프로그래밍 회의에서 기조연설을 했다.
1부. 데이터 수집1장. 테이블 형식__정리__CSV____온전성 검사____좋은 데이터, 나쁜 데이터, 텍스트 데이터______나쁜 데이터______좋은 데이터__유해하다고 간주되는 스프레드시트__SQL RDBMS____데이터 타입 다듬기____R에서 반복____SQL이 잘못되는 위치(및 이것을 확인하는 방법)__기타 형식____HDF5와 NetCDF-4______도구와 라이브러리____SQLite____아파치 파켓__데이터 프레임____스파크/스칼라____판다스와 파생된 래퍼____Vaex____R의 데이터 프레임(Tidyverse)____R의 데이터 프레임(data.table)____흥미로운 Bash__연습____엑셀 데이터 정리____SQL 데이터 정리__대단원2장. 계층적 형식__JSON____JSON의 모습____NaN 처리와 데이터 타입____JSON Lines____GeoJSON____깔끔한 지리____JSON 스키마__XML____사용자 레코드____키홀 마크업 언어__구성 파일____INI와 플랫 사용자 정의 형식____TOML____YAML__NoSQL 데이터베이스____문서 지향 데이터베이스______누락된 필드______비정규화와 비정규화의 불만____키/값 저장소__연습____채워진 영역 탐색____관계형 모델 생성__대단원3장. 데이터 소스의 목적 변경__웹 스크래핑____HTML 테이블____테이블 형식이 아닌 데이터____커맨드라인 스크래핑__PDF__이미지 형식____픽셀 통계____채널 조작____메타데이터__바이너리 직렬화된 데이터 구조__사용자 정의 텍스트 형식____구조화된 로그____문자 인코딩__연습____NPY 파서 향상____웹 트래픽 스크래핑__대단원2부. 오류의 변천4장 이상 징후 감지__결측 데이터____SQL____계층적 형식____센티넬__잘못 코딩된 데이터__고정된 한도__아웃라이어____z-스코어____사분위수 범위__다변량 아웃라이어__연습____유명한 실험____철자가 틀린 단어__대단원5장. 데이터 품질__결측 데이터__편향적인 트렌드____편향 이해____편향 감지____기준선과 비교____벤포드의 법칙__클래스 불균형__정규화과 스케일링____머신러닝 모델 적용____스케일링 기술____요인 및 샘플 가중치__주기성과 자기 상관관계____도메인 지식 트렌드____발견된 주기__비스포크 검증____콜레이션 검증____트랜스크립션 검증__연습____데이터 특성화____오버샘플링된 여론 조사__대단원3부. 수정과 참조6장. 값 보정__전형적인 값 보정____전형적인 테이블 형식 데이터____지역성 보정__트렌드 보정____트렌드 타입____더 크게 얽힌 시계열______데이터 이해______사용할 수 없는 데이터 제거______일관성 보정______보간법____비시간적 트렌드__샘플링____언더샘플링____오버샘플링__연습____대체 트렌드 보정____다중 특징 밸런싱__대단원7장. 피처 엔지니어링__날짜/시간 필드____날짜 시간 만들기____규칙성 부여____중복된 타임스탬프____타임스탬프 추가__문자열 필드____퍼지 매칭____명시적 범주__문자열 벡터____분해____로테이션과 화이트닝____차원 축소____시각화__양자화와 이진화__원핫 인코딩__다항식 특징____합성 특징 생성____특징 선택__연습____간헐적 발생____레벨 특성화__대단원4부. 부록A. 마치며__여러분이 아는 것__여러분이 아직 모르는 것B. 용어 사전
