인공지능이 올바른 데이터를 입력 받아 의미 있는 결과를 도출하는 과정에서 필수적으로 거쳐야 할 데이터 전처리에 관한 ‘입문서’이다. 정형 데이터뿐만 아니라 이미지, 텍스트 데이터와 같은 비정형 데이터를 다루는 방법을 제공한다. 데이터를 처리하고 분석하기 위해 가장 많이 사용되는 파이썬 언어를 사용하고, NumPy, Pandas 등 라이브러리를 통해 어떠한 방법으로 데이터를 시각화하고, 의미를 도출할 수 있는지를 자세하게 배울 수 있다. 실습 위주의 책이며, 파이썬을 조금만 알아도 누구나 쉽게 따라해보면서 데이터 전처리의 개념과 방법 등에 관한 기초지식을 충분히 습득할 수 있다. 이것을 기초로 스스로 데이터 전처리 전문가가 되는 길을 찾을 수 있을 것이다.
BULB 주식회사 소속의 데이터 과학자이다. SE나 데이터 IT 벤더 데이터 분석 등을 다양하게 경험하였다. 수많은 데이터 분석 프로젝트 외에도 실무자 교육도 틈틈이 병행하고 있으며, 개인 활동으로 기사와 책 쓰기 세미나 강의도 즐긴다. 저서로는 『텐서플로로 시작하는 딥러닝 입문』, 『초보자를 위한 신경망 딥러닝 입문』이 있다. 감수성이 예민한 시기에 고등 전문 학교에서 5 년을 보내버린 탓인지 주변에서 괴짜라는 평가를 받고 있다.
지은이의 글 옮긴이의 글 감수자의 글 다운로드 및 개발환경 안내 일러두기 1장 데이터 분석, 활용을 시작하기 전에1 데이터 기반 시대로 2 데이터 분석 프로젝트에 필요한 요소 3 데이터 분석 인재에게 필요한 스킬 컬럼 | 보충지식 1 BI로 무엇을 할 수 있나? 컬럼 | 보충지식 2 데이터처리가 빠른 툴은? 2장 데이터 분석의 프로세스와 환경1 들어가며 2 비즈니스 이해 3 데이터 이해 4 데이터 준비 5 모델 작성 6 평가 7 배포/공유 8 데이터 분석 환경의 선택 9 주피터 노트북 사용 방법 3장 정형 데이터의 전처리 (1)1 데이터 이해 2 데이터 준비 3 모델 작성 4 다시 데이터 준비로 5 다시 한번 모델 작성으로 컬럼 | 보충지식 1 데이터 결합 컬럼 | 보충지식 2 오버 샘플링 컬럼 | 보충지식 3 분할의 순도 [함께 해봐요 3-1] Pandas를 사용한 파일 업로드 [함께 해봐요 3-2] 데이터의 행수와 열수 확인 [함께 해봐요 3-3] 데이터형 확인 [함께 해봐요 3-4] 결손값의 포함 유무 확인 [함께 해봐요 3-5] 결손값의 개수 파악 [함께 해봐요 3-6] 데이터형이 수치인 항목의 통계량 계산 [함께 해봐요 3-7] age의 히스토그램 작성 [함께 해봐요 3-8] age와 balance 산포도 작성과 항목 관련성 확인 [함께 해봐요 3-9] 문자열 항목 중 job의 원 그래프 작성 (1) [함께 해봐요 3-10] 문자열 항목 중 job의 원 그래프 작성 (2) [함께 해봐요 3-11] y의 원 그래프 작성 및 데이터 분포 확인 [함께 해봐요 3-12] 목적변수 y에 대한 데이터 분포 확인 [함께 해봐요 3-13] 전처리를 위한 코드 입력 [함께 해봐요 3-14] 각 항목의 데이터형 재확인 [함께 해봐요 3-15] 결손값 제외 [함께 해봐요 3-16] 결손값 보완 [함께 해봐요 3-17] 특이값(이상치) 제외 [함께 해봐요 3-18] 값 두 개를 가지는 데이터 변환 [함께 해봐요 3-19] 다수의 값을 가지는 데이터 변환 [함께 해봐요 3-20] 분석 데이터 세트로 완성 [함께 해봐요 3-21] 더미 변수화한 데이터 결합 [함께 해봐요 3-22] CSV 파일로 결과 출력 [함께 해봐요 3-23] Pandas를 사용한 결합의 이미지 표현 [함께 해봐요 3-24] 데이터를 로드하는 코드 작성 [함께 해봐요 3-25] imbalanced-learn 패키지 설치 유무 확인 [함께 해봐요 3-26] 주티퍼랩에 설치된 패키지 확인 [함께 해봐요 3-27] imbalanced-learn 패키지 설치 [함께 해봐요 3-28] 불균형 데이터 세트에 대한 언더 샘플링 [함께 해봐요 3-29] 오버 샘플링 구현 [함께 해봐요 3-30] 결정 트리 알고리즘을 사용한 모델 검증 [함께 해봐요 3-31] 재현율과 적합도 확인 [함께 해봐요 3-32] 파라미터와 기본값 확인 [함께 해봐요 3-33] 그리드 서치를 사용한 모델의 성능 개선 [함께 해봐요 3-34] 가장 높은 성능일 때의 모델에 대한 파라미터 조합 확인 [함께 해봐요 3-35] 모델 완성 및 영향력 높은 변수 확인 [함께 해봐요 3-36] job 통합 및 새로운 특징량 생성 [함께 해봐요 3-37] month 통합 및 새로운 특징량 생성 [함께 해봐요 3-38] day 통합 및 새로운 특징량 생성 [함께 해봐요 3-39] duration 통합 및 새로운 특징량 생성 함께 해봐요 3-40] previous 통합 및 새로운 특징량 생성 [함께 해봐요 3-41] 더미변수를 만들기 위한 목록 삽입 [함께 해봐요 3-42] get_dummies를 사용한 더미변수 생성 [함께 해봐요 3-43] CSV 파일 내용 변경 [함께 해봐요 3-44] feature_selection을 통한 변수 사용 유무 확인 4장 정형 데이터의 전처리 (2)1 고객의 특성 이해 2 고객의 그룹화 3 잠재적인 요구 추출 [함께 해봐요 4-1] 분석 데이터를 읽기 위한 코드 작성 [함께 해봐요 4-2] 각 항목의 데이터형 재확인 [함께 해봐요 4-3] 범위변환 테스트 [함께 해봐요 4-4] Z변환 테스트 [함께 해봐요 4-5] 각 변수의 평균과 표준편차 값 확인 [함께 해봐요 4-6] 계층형 클러스터링을 이용한 그룹 분할 [함께 해봐요 4-7] 고객별 그룹 확인 [함께 해봐요 4-8] k-Means법을 이용한 그룹 분할 [함께 해봐요 4-9] 클러스터 ID별 데이터 분포 확인 [함께 해봐요 4-10] 클러스터 ID별 데이터 세트와의 결합 [함께 해봐요 4-11] 그룹별 데이터 건수 확인 [함께 해봐요 4-12] 각 그룹의 통계량 계산 및 성질 파악 [함께 해봐요 4-13] PCA를 이용한 신규변수 작성 [함께 해봐요 4-14] 목적변수별 분포 확인 [함께 해봐요 4-15] 목적변수별 산포도 확인 5장 이미지 데이터의 전처리1 데이터 이해 2 기계학습을 위한 데이터 준비 3 딥러닝을 위한 데이터 준비 컬럼 | 보충지식 1 중간층의 추출 [함께 해봐요 5-1] OpenCV 설치 [함께 해봐요 5-2] swiss-army-ant.jpg 읽기 [함께 해봐요 5-3] 배열에 저장된 픽셀값 확인 [함께 해봐요 5-4] 배열 크기 확인 [함께 해봐요 5-5] 컬러 이미지의 픽셀값 확인 [함께 해봐요 5-6] 그레이스케일 이미지로 변환 [함께 해봐요 5-7] 그레이스케일 이미지의 픽셀값 확인 [함께 해봐요 5-8] 이진화 이미지로 변환 [함께 해봐요 5-9] 이진화 이미지의 픽셀값 확인 [함께 해봐요 5-10] 데이터 프레임 형식으로 확인하는 픽셀값 [함께 해봐요 5-11] 신규 노트북 작성 [함께 해봐요 5-12] 설명변수와 목적변수의 세트 작성 (1) [함께 해봐요 5-13] 설명변수와 목적변수의 세트 작성 (2) [함께 해봐요 5-14] 이진화 이미지의 침식 처리 [함께 해봐요 5-15] 이진화 이미지의 팽창 처리 [함께 해봐요 5-16] 이진화 이미지의 오프닝 처리 [함께 해봐요 5-17] 이진화 이미지의 클로징 처리 [함께 해봐요 5-18] 그레이스케일 이미지의 히스토그램 작성 [함께 해봐요 5-19] 그레이스케일 이미지의 pixels_df에 대한 t-SNE 적용 [함께 해봐요 5-20] 목적변수별 데이터 분포 확인 [함께 해봐요 5-21] 그레이스케일 이미지의 설명변수와 목적변수의 세트 작성 [함께 해봐요 5-22] 데이터 세트의 분할 [함께 해봐요 5-23] 이미지 반전을 통한 이미지 수 증가 [함께 해봐요 5-24] 블러 처리를 통한 이미지 수 증가 [함께 해봐요 5-25] 명도 변경을 통한 이미지 수 증가 [함께 해봐요 5-26] 중간층 추출 (1) [함께 해봐요 5-27] 중간층 추출 (2) 6장 시계열 데이터의 전처리1 데이터 이해 2 데이터 준비 3 훈련 데이터 작성 [함께 해봐요 6-1] 분석 데이터 세트 로드 [함께 해봐요 6-2] 데이터의 행수와 열수 확인 [함께 해봐요 6-3] 데이터형 확인 [함께 해봐요 6-4] datetime형으로 데이터 변환 [함께 해봐요 6-5] 한 행 전과의 시간차(분) 계산 [함께 해봐요 6-6] 경과시간(분) 계산 (1) [함께 해봐요 6-7] 결손값 개수 확인 [함께 해봐요 6-8] 각 항목의 통계량 계산 [함께 해봐요 6-9] Matplotlib을 사용한 데이터 시각화 [함께 해봐요 6-10] 전처리 대상의 데이터 읽기 [함께 해봐요 6-11] 결손값 표시 [함께 해봐요 6-12] NaN을 통한 결손값 보완 [함께 해봐요 6-13] 전후의 값 평균치로 보완하는 결손값 [함께 해봐요 6-14] 경과시간(분) 계산 (2) [함께 해봐요 6-15] 6시간 단위로 만들기 위한 평균치 계산 [함께 해봐요 6-16] 두 개의 데이터 세트 결합 [함께 해봐요 6-17] event.csv 파일 읽기 [함께 해봐요 6-18] 데이터 집약 및 시간 축 작성 (1) [함께 해봐요 6-19] 데이터 집약 및 시간 축 작성 (2) [함께 해봐요 6-20] 특징량과 목적변수 결합 [함께 해봐요 6-21] 슬라이드 창을 사용한 특징량 추출 [함께 해봐요 6-22] 기계학습의 알고리즘 형태로 특징량 변형 [함께 해봐요 6-23] 특징량 세트와 목적변수 결합 [함께 해봐요 6-24] 새로운 노트북 작성 및 코드 입력 [함께 해봐요 6-25] 데이터 시각화 [함께 해봐요 6-26] 데이터 분할 [함께 해봐요 6-27] 데이터 정규화 [함께 해봐요 6-28] 훈련 데이터의 부분시계열 작성 [함께 해봐요 6-29] 부분시계열의 파형 거리(유사도) 측정 [함께 해봐요 6-30] 케라스 실행 [함께 해봐요 6-31] 오토 인코더 네트워크 작성 [함께 해봐요 6-32] 학습 조건 설정 및 학습 실행 [함께 해봐요 6-33] 오차의 수렴 상태 확인 [함께 해봐요 6-34] 출력값 추이 비교 [함께 해봐요 6-35] 이상 스코어 계산 7장 자연어 데이터의 전처리1 데이터 이해 2 기계학습을 위한 데이터 준비 3 딥러닝을 위한 데이터 준비 4 주제 추출을 위한 데이터 준비 컬럼 | 보충지식 1 한글 형태소 분석 환경의 설정 컬럼 | 보충지식 2 2-gram 에지 리스트 [함께 해봐요 7-1] 업로드한 기사를 대상으로 하는 형태소 분석 [함께 해봐요 7-2] konlpy 설치 (1) [함께 해봐요 7-3] Okt를 통한 형태소 분석 [함께 해봐요 7-4] 정규표현식을 사용한 URL 제거 [함께 해봐요 7-5] 명사인 단어 추출 [함께 해봐요 7-6] konlpy 설치 (2) [함께 해봐요 7-7] 모든 기사에 대한 형태소 분석 작업 진행 [함께 해봐요 7-8] docterm에 저장한 단어 확인 [함께 해봐요 7-9] 첫 번째 기사의 단어 추출 [함께 해봐요 7-10] label에 저장된 기사 인덱스 확인 [함께 해봐요 7-11] 단어 문서 행렬 작성 [함께 해봐요 7-12] 작성한 단어 문서 행렬의 크기 확인 [함께 해봐요 7-13] 고빈도어와 저빈도어 삭제 [함께 해봐요 7-14] TF-IDF치를 계산한 단어 문서 행렬 작성 [함께 해봐요 7-15] 단어 문서 행렬의 크기 확인 [함께 해봐요 7-16] konlpy 설치 (3) [함께 해봐요 7-17] 전체 기사에 대한 처리 실행 [함께 해봐요 7-18] 작성한 데이터 세트 크기와 값 확인 [함께 해봐요 7-19] 내림순으로 단어 정렬 [함께 해봐요 7-20] 일련번호를 부여한 사전 작성 [함께 해봐요 7-21] 리스트 길이 정리 [함께 해봐요 7-22] 부족한 패키지 설치 [함께 해봐요 7-23] 부족한 패키지 실행 (1) [함께 해봐요 7-24] 부족한 패키지 실행 (2) [함께 해봐요 7-25] 단어 문서 행렬과 label열 결합 [함께 해봐요 7-26] label이 0인 문서의 유사도 계산 [함께 해봐요 7-27] 행렬 형식에서 리스트 형식으로 변환 [함께 해봐요 7-28] 동시 출현어 에지 리스트 작성 [함께 해봐요 7-29] 문장에서 2-gram 모델 작성 [함께 해봐요 7-30] 기사 데이터에서 2-gram 모델 작성 [함께 해봐요 7-31] 단어에 ID 부여 (1) [함께 해봐요 7-32] 단어에 ID 부여 (2) [함께 해봐요 7-33] 띄어쓰기한 단어에 ID 부여 [함께 해봐요 7-34] 2-gram 모델 작성 [함께 해봐요 7-35] 리스트 bigram에 저장 부록1 주피터랩 로컬 환경 구축 2 이미지 인식 모델 작성 3 기사 분류 모델 작성 4 기사 주제 추출 5 다양한 시각화 툴 [함께 해봐요 A1-1] 주피터랩의 홈 디렉토리 변경 [함께 해봐요 A1-2] 변경 전 소스코드 [함께 해봐요 A1-3] 변경 후 소스코드 [함께 해봐요 A2-1] 학습에 사용하는 네트워크 작성 [함께 해봐요 A2-2] 학습 조건 설정 및 학습 실행 [함께 해봐요 A2-3] 오차 이력 그래프 작성 (1) [함께 해봐요 A2-4] 정확도 이력 그래프 작성 (1) [함께 해봐요 A2-5] 학습에 사용하는 네트워크 작성 [함께 해봐요 A2-6] 학습 조건 설정 및 학습 실행 [함께 해봐요 A2-7] 오차 이력 그래프 작성 (2) [함께 해봐요 A2-8] 정확도 이력 그래프 작성 (2) [함께 해봐요 A3-1] 명사인 단어만 추출한 데이터 세트 작성 [함께 해봐요 A3-2] [함께 해봐요 7-21] 수정 및 추가 (1) [함께 해봐요 A3-3] [함께 해봐요 7-21] 수정 및 추가 (2) [함께 해봐요 A3-4] 학습 조건 설정 및 실행 [함께 해봐요 A3-5] 오차 이력 그래프 작성 (3) [함께 해봐요 A3-6] 정확도 이력 그래프 작성 (3) [함께 해봐요 A4-1] 코드 추가 및 실행 [함께 해봐요 A4-2] 네트워크 그래프 작성 [함께 해봐요 A4-3] 작성한 네트워크에 대한 클러스트 계수와 매개 중심성 계산 [함께 해봐요 A4-4] 커뮤니티 추출 [함께 해봐요 A5-1] 워드 클라우드 설치 [함께 해봐요 A5-2] [함께 해봐요 A3-1] 수정 및 실행 [함께 해봐요 A5-3] 5회 이상 출현 단어 추출 3장_연습문제 해답 2895장_연습문제 해답 2986장_연습문제 해답 3067장_연습문제 해답 313찾아보기
