데이터 분석과 머신러닝의 각 업무 단계를 깊이 있게 이해하자!

이 책은 실무적인 관점에서 데이터 분석의 기초 체력이라 할 수 있는 통계학부터 머신러닝 기법까지 다룬다. 비즈니스 문제 정의 단계부터 시작해서 탐색적 데이터 분석(EDA), 데이터 전처리와 파생변수 생성, 머신러닝 모델링 및 성능평가, 그리고 스토리텔링까지, 데이터 분석가라면 반드시 알아야 하는 모든 내용을 담고 있다. 실무자가 회사에서 바로 활용할 수 있도록 불필요한 수식과 이론을 최소화하고 핵심 개념을 쉽게 이해할 수 있게 구성했다. 데이터 분석 및 머신러닝의 전체 과정을 미니 프로젝트 기반으로 실습하면서 데이터를 올바르게 이해하고 의미 있는 비즈니스 인사이트를 얻는 방법을 배울 수 있다.

선문대학교 SW융합대학 AI소프트웨어학과 교수로 머신러닝, 인공지능, 파이썬 프로그래밍을 가르치며, 여러 기업의 기술 자문을 맡고 있다. 연세대학교에서 센서 데이터를 활용한 실시간 대중교통체계(Real-time Public Transportation Systems) 연구로 박사학위를 받았으며, 약 8년간 코오롱, 롯데 그룹 등에서 데이터 분석가 및 데이터 사이언티스트로서 다양한 비즈니스 도메인의 데이터를 분석하고 추천 시스템, 수요 예측 알고리즘 등의 모델을 구축 및 운영했다.

[1부] 데이터 기초체력 기르기

▣ 01장: 통계학 이해하기

1.1 왜 통계학을 알아야 할까?
1.2 머신러닝과 전통적 통계학의 차이
1.3 통계학의 정의와 기원
1.4 기술 통계화 추론 통계
___1.4.1 기술 통계
___1.4.2 추론 통계

▣ 02장: 모집단과 표본추출

2.1 모집단과 표본, 전수조사와 표본조사
2.2 표본조사를 하는 이유와 데이터과학 적용 방법
2.3 표본추출에서 나타나는 편향의 종류
2.4 인지적 편향의 종류
___2.4.1 확증 편향(confirmation bias)
___2.4.2 기준점 편향(anchoring bias)
___2.4.3 선택 지원 편향(choice-supportive bias)
___2.4.4 분모 편향(denominator bias)
___2.4.5 생존자 편향(survivorship bias)
2.5 머신러닝 모델 측면의 편향과 분산
2.6 표본 편향을 최소화하기 위한 표본 추출 방법

▣ 03장: 변수와 척도

3.1 변수의 종류
3.2 변수 관계의 종류
3.3 척도의 종류

▣ 04장: 데이터의 기술 통계적 측정

4.1 중심 성향의 측정
4.2 분산과 표준편차
4.3 산포도와 범위, 사분위수, 변동계수
4.4 왜도와 첨도
___4.4.1 왜도
___4.4.2 첨도
4.5 표준편차의 경험법칙

▣ 05장: 확률과 확률변수

5.1 확률의 기본 개념
5.2 확률의 종류
5.3 분할과 베이지안 이론
___5.3.1 분할
___5.3.2 베이지안 이론
5.4 확률변수의 개념과 종류
5.5 심슨의 역설

▣ 06장: 확률분포

6.1 확률분포의 정의와 종류
6.2 이산확률분포
___6.2.1 균등분포
___6.2.2 이항분포
___6.2.3 초기하분포
___6.2.4 포아송분포
6.3 연속확률분포
___6.3.1 정규분포
___6.3.2 지수분포
6.4 중심극한정리

▣ 07장: 가설검정

7.1 귀무가설과 대립가설
7.2 가설검정의 절차
7.3 가설검정의 유의수준과 p값
7.4 1종 오류와 2종 오류

[2부] 데이터 분석 준비하기

▣ 08장: 분석 프로젝트 준비 및 기획

8.1 데이터 분석의 전체 프로세스
___8.1.1 데이터 분석의 3단계
___8.1.2 CRISP-DM 방법론
___8.1.3 SAS SEMMA 방법론
8.2 비즈니스 문제 정의와 분석 목적 도출
8.3 분석 목적의 전환
8.4 도메인 지식
8.5 외부 데이터 수집과 크롤링

▣ 09장: 분석 환경 세팅하기

9.1 어떤 데이터 분석 언어를 사용하는 것이 좋을까?
9.2 데이터 처리 프로세스 이해하기
9.3 분산데이터 처리
___9.3.1 HDFS
___9.3.2 아파치 스파크
9.4 테이블 조인과 정의서 그리고 ERD
___9.4.1 테이블 조인
___9.4.2 데이터 단어사전
___9.4.3 테이블 정의서
___9.4.4 ERD

▣ 10장: 데이터 탐색과 시각화

10.1 탐색적 데이터 분석
___10.1.1 엑셀을 활용한 EDA
___10.1.2 탐색적 데이터 분석 실습
10.2 공분산과 상관성 분석
___10.2.1 공분산
___10.2.2 상관계수
___10.2.3 공분산과 상관성 분석 실습
10.3 시간 시각화
___10.3.1 시간 시각화 실습
10.4 비교 시각화
___10.4.1 비교 시각화 실습
10.5 분포 시각화
___10.5.1 분포 시각화 실습
10.6 관계 시각화
___10.6.1 관계 시각화 실습
10.7 공간 시각화
___10.7.1 공간 시각화 실습
10.8 박스 플롯
___10.8.1 박스 플롯 실습

▣ 11장: 데이터 전처리와 파생변수 생성

11.1 결측값 처리
___11.1.1 결측값 처리 실습
11.2 이상치 처리
___11.2.1 이상치 처리 실습
11.3 변수 구간화(Binning)
___11.3.1 변수 구간화 실습
11.4 데이터 표준화와 정규화 스케일링
___11.4.1 데이터 표준화와 정규화 스케일링 실습
11.5 모델 성능 향상을 위한 파생 변수 생성
___11.5.1 파생 변수 생성 실습
11.6 슬라이딩 윈도우 데이터 가공
___11.6.1 슬라이딩 윈도우 실습
11.7 범주형 변수의 가변수 처리
___11.7.1 범주형 변수의 가변수 처리 실습
11.8 클래스 불균형 문제 해결을 위한 언더샘플링과 오버샘플링
___11.8.1 언더샘플링과 오버샘플링 실습
11.9 데이터 거리 측정 방법
___11.9.1 대표적인 거리 측정 방법
___11.9.2 데이터 거리 측정 실습

[3부] 데이터 분석하기

▣ 12장: 통계 기반 분석 방법론

12.1 분석 모델 개요
12.2 주성분 분석(PCA)
___12.2.1 주성분 분석 실습
12.3 공통요인분석(CFA)
___12.3.1 공통요인분석 실습
12.4 다중공선성 해결과 섀플리 밸류 분석
12.5 데이터 마사지와 블라인드 분석
___12.5.1 데이터 마사지
___12.5.2 블라인드 분석
12.6 Z-test와 T-test
___12.6.1 Z-test와 T-test 실습
12.7 ANOVA(Analysis of Variance)
___12.7.1 ANOVA 실습
12.8 카이제곱 검정(교차분석)
___12.8.1 카이제곱 검정 실습

▣ 13장: 머신러닝 분석 방법론

13.1 선형 회귀분석과 Elastic Net(예측모델)
___13.1.1 회귀분석의 기원과 원리
___13.1.2 다항 회귀(Polynomial regression)
___13.1.3 Ridge와 Lasso 그리고 Elastic Net
___13.1.4 선형 회귀분석과 Elastic Net 실습
13.2 로지스틱 회귀분석 (분류 모델)
___13.2.1 로지스틱 회귀분석 실습
13.3 의사결정나무와 랜덤 포레스트(예측/분류 모델)
___13.3.1 분류나무와 회귀나무
___13.3.2 의사결정나무 모델의 장단점
___13.3.3 의사결정나무 모델의 과적합 방지를 위한 방법
___13.3.4 랜덤 포레스트
___13.3.5 의사결정나무와 랜덤 포레스트 실습
13.4 선형 판별분석과 이차 판별분석(분류 모델)
___13.4.1 선형 판별분석
___13.4.2 이차 판별분석
___13.4.3 선형 판별분석과 이차 판별분석 실습
13.5 서포트벡터머신(분류 모델)
___13.5.1 서포트벡터머신 실습
13.6 KNN(분류, 예측 모델)
___13.6.1 KNN 실습
13.7 시계열 분석(예측모델)
___13.7.1 회귀 기반 시계열 분석
___13.7.2 ARIMA 모델
___13.7.3 시계열 분석 실습
13.8 k-means 클러스터링(군집 모델)
___13.8.1 k-means 클러스터링 실습
13.9 연관규칙과 협업 필터링(추천 모델)
___13.9.1 연관 규칙
___13.9.2 콘텐츠 기반 필터링과 협업 필터링
___13.9.3 연관규칙과 협업 필터링 실습
13.10 인공 신경망(CNN, RNN, LSTM)
___13.10.1 CNN
___13.10.2 RNN과 LSTM
___13.10.3 인공 신경망 실습

▣ 14장: 모델 평가

14.1 학습 셋, 검증 셋, 테스트 셋과 과적합 해결
14.2 주요 교차 검증 방법
___14.2.1 k-Fold Cross Validation
___14.2.2 LOOCV(Leave-one-out Cross-validation)
___14.2.3 Stratified K-fold Cross Validation
___14.2.4 Nested Cross Validation
___14.2.5 Grid Search Cross Validation
___14.2.6 주요 교차 검증 방법 실습
14.3 회귀성능 평가지표
___14.3.1 R-Square와 Adjusted R-Square
___14.3.2 RMSE(Root Mean Square Error)
___14.3.3 MAE(Mean Absolute Error)
___14.3.4 MAPE(Mean Absolute Percentage Error)
___14.3.5 RMSLE(Root Mean Square Logarithmic Error)
___14.3.6 AIC와 BIC
___14.3.7 회귀성능 평가지표 실습
14.4 분류, 추천 성능 평가지표
___14.4.1 혼동 행렬
___14.4.2 정확도, 오분류율, 정밀도, 민감도, 특이도 그리고 f-score
___14.4.3 향상도 테이블과 향상도 차트 그리고 향상도 곡선
___14.4.4 ROC 곡선과 AUC
___14.4.5 수익 곡선
___14.4.6 Precision at k, Recall at K 그리고 MAP
___14.4.7 분류, 추천 성능 평가지표 실습
14.5 A/B 테스트와 MAB
___14.5.1 A/B 테스트
___14.5.2 MAB
14.6 유의확률의 함정
14.7 분석가의 주관적 판단과 스토리텔링