데이터 과학자여,그랜드마스터로 올라서는 비법이 여기에 있다. 실력 향상에 가장 좋은 방법은 실습! 데이터 과학 플랫폼 캐글에서는 다양한 대회에 참가하고 데이터 세트와 노트북, 토론을 주고받으며 ‘실습을 통한 학습’ 경험을 쌓을 수 있습니다. 캐글 그랜드마스터인 콘라트 바나헤비치와 루카 마사론이 데이터 과학 대회와 프로젝트에서 성공하는 데 필요한 기술과 비법을 하나로 모았습니다. 다양한 경험을 통해 쌓인 모델링 전략과 각종 지식을 토대로 데이터 과학자로 성장하는 방법을 여러분에게 전수합니다.그랜드마스터와 마스터 등급에 오른 캐글러 31명의 솔직한 인터뷰도 담았습니다. 이들이 가감 없이 공유하는 초창기에 저지른 실수와 깨달은 교훈을 통해 데이터 과학 세계에서 살아남는 데 필요한 인사이트를 얻어보세요. 그랜드마스터가 대회나 프로젝트를 시작할 때 사용하는 접근법과 서로 협력하는 법, 도구까지 여러분 것으로 만드세요. 길목 곳곳에 숨겨진 보물을 찾다보면 어느새 데이터 과학에 자신감이 붙은 여러분을 발견할 수 있을 겁니다.
루카 마사론은 데이터 과학자이자 마케팅 리서치 이사다. 전문분야는 다변량 통계 분석, 머신러닝, 고객 인사이트로, 10년 이상 추론, 통계, 데이터 마이닝, 알고리즘을 사용해서 실제 문제를 해결하고 이해 관계자를 위한 가치를 생성하는 일에 몸 담았다.
PART I 캐글 사용법CHAPTER 1 캐글과 데이터 과학 대회_1.1 데이터 과학 대회 플랫폼의 부상__1.1.1 캐글 대회 플랫폼__1.1.2 다른 대회 플랫폼_1.2 캐글 소개__1.2.1 대회의 스테이지__1.2.2 대회의 유형과 예시__1.2.3 제출과 리더보드 역학__1.2.4 컴퓨팅 리소스__1.2.5 팀 구성과 네트워킹__1.2.6 성과 등급과 순위__1.2.7 비판과 기회_1.3 요약인터뷰 | 01 - 코드를 공유하고 토론하는 커뮤니티, 캐글인터뷰 | 02 - 프레임워크의 중요성CHAPTER 2 캐글 데이터 세트_2.1 데이터 세트 준비하기_2.2 데이터 수집_2.3 데이터 세트로 작업하기_2.4 구글 코랩에서 캐글 데이터 세트 사용하기_2.5 법적 주의 사항_2.6 요약인터뷰 | 03 - 좋은 데이터 세트를 만드는 법CHAPTER 3 캐글 노트북_3.1 노트북 설정하기_3.2 노트북 실행하기_3.3 노트북 깃허브에 저장하기_3.4 노트북 최대로 활용하기__3.4.1 구글 클라우드 플랫폼(GCP)으로 업그레이드하기__3.4.2 한 걸음 더 나아가기_3.5 캐글 학습 코스_3.6 요약인터뷰 | 04 - 경험과 실수는 성장하는 원동력인터뷰 | 05 - 캐글 입문자를 위한 접근법CHAPTER 4 토론 포럼_4.1 포럼이 운영되는 방식_4.2 토론 접근법_4.3 네티켓_4.4 요약인터뷰 | 06 - 기술에서 벗어나 맥락에서 정보를 찾아라PART II 대회를 위한 테크닉CHAPTER 5 대회 과제와 지표_5.1 평가 지표와 목적 함수_5.2 과제의 기본 유형__5.2.1 회귀__5.2.2 분류__5.2.3 서수_5.3 메타 캐글 데이터 세트_5.4 처음 보는 지표 처리_5.5 회귀를 위한 지표(표준과 서수)__5.5.1 평균 제곱 오차(MSE)와 결정계수__5.5.2 평균 제곱근 오차(RMSE)__5.5.3 평균 제곱근 로그 오차(RMSLE)__5.5.4 평균 절대 오차(MAE)_5.6 분류를 위한 지표(레이블 예측과 확률)__5.6.1 정확도__5.6.2 정밀도와 재현율__5.6.3 F1 점수__5.6.4 로그 손실과 ROC-AUC__5.6.5 매튜스 상관계수(MCC)_5.7 다중 분류를 위한 지표_5.8 객체 탐지를 위한 지표__5.8.1 IoU__5.8.2 다이스_5.9 다중 레이블 분류와 추천을 위한 지표__5.9.1 MAP@{K}_5.10 평가 지표 최적화__5.10.1 사용자 정의 지표와 사용자 정의 목표 함수__5.10.2 예측 후처리_5.11 요약인터뷰 | 07 - 전분야 그랜드마스터의 문제 접근법인터뷰 | 08 - 장기적인 목표를 잡아라인터뷰 | 09 - 핵심은 꾸준함CHAPTER 6 좋은 검증 설계법_6.1 리더보드 분석_6.2 대회에서 검증의 중요성__6.2.1 편향과 분산_6.3 다양한 분할 전략 시도__6.3.1 기본 훈련 세트 분할__6.3.2 확률적 평가 방법_6.4 모델 검증 시스템 조정_6.5 적대적 검증 사용__6.5.1 구현 예시__6.5.2 훈련 데이터와 테스트 데이터의 분포 차이 처리_6.6 누수 처리_6.7 요약인터뷰 | 10 - 모든 것을 검증하라인터뷰 | 11 - 여러 아이디어로 만드는 좋은 검증인터뷰 | 12 - 캐글은 마라톤이다CHAPTER 7 태뷸러 데이터 대회를 위한 모델링_7.1 플레이그라운드 시리즈_7.2 재현성을 위한 랜덤 상태 설정_7.3 EDA의 중요성__7.3.1 t-SNE과 UMAP으로 차원 축소하기_7.4 데이터 사이즈 축소하기_7.5 특징 공학 적용하기__7.5.1 쉽게 파생된 특징__7.5.2 행과 열에 기반한 메타 특징__7.5.3 목표 인코딩__7.5.4 특징의 중요도 활용해서 작업 평가하기_7.6 의사 레이블링_7.7 오토인코더로 잡음 제거하기_7.8 태뷸러 데이터 대회를 위한 신경망_7.9 요약인터뷰 | 13 - 게임처럼 접근하라인터뷰 | 14 - 데이터 과학도 과학이다CHAPTER 8 하이퍼파라미터 최적화_8.1 기본 최적화 기법__8.1.1 그리드 탐색__8.1.2 랜덤 탐색__8.1.3 분할 탐색_8.2 핵심 파라미터와 사용 방법__8.2.1 선형 모델__8.2.2 서포트 벡터 머신__8.2.3 랜덤 포레스트와 극단적 랜덤 트리__8.2.4 그레이디언트 트리 부스팅_8.3 베이지언 최적화__8.3.1 scikit-optimize 사용하기__8.3.2 베이지언 최적화 탐색 커스터마이징하기__8.3.3 베이지언 최적화를 신경망 구조 탐색(NAS)으로 확장하기__8.3.4 KerasTunner로 더 가볍고 빠른 모델 생성하기__8.3.5 Optuna의 TPE 접근_8.4 요약인터뷰 | 15 - 배우는 게 있다면 실패가 아니다인터뷰 | 16 - 문제와 데이터부터 이해하라인터뷰 | 17 - 도전하는 용기CHAPTER 9 블렌딩과 스태킹 설루션을 사용한 앙상블_9.1 앙상블 알고리듬_9.2 모델 평균화로 앙상블하기__9.2.1 다수결 투표 알고리듬__9.2.2 모델 예측의 평균화__9.2.3 가중 평균__9.2.4 교차검증 전략의 평균화__9.2.5 ROC-AUC 평가를 위한 평균 수정_9.3 메타 모델을 사용한 모델 블렌딩__9.3.1 모델 블렌딩의 모범 사례_9.4 모델 스태킹__9.4.1 스태킹 변형_9.5 복잡한 스태킹과 블렌딩 설루션 만들기_9.6 요약인터뷰 | 18 - 데이터를 이해하면 프로젝트가 시작된다인터뷰 | 19 - 새로운 영역에 겁내지 말 것CHAPTER 10 컴퓨터 비전 모델링_10.1 증강 전략__10.1.1 케라스 내장 증강__10.1.2 Albumentations_10.2 분류_10.3 객체 탐지_10.4 시맨틱 분할_10.5 요약인터뷰 | 20 - 배우고 즐겨라인터뷰 | 21 - 모든 대회는 퍼즐을 해결하는 모험CHAPTER 11 NLP 모델링_11.1 감정 분석_11.2 오픈 도메인 Q&A_11.3 텍스트 데이터 증강 전략__11.3.1 기본 테크닉__11.3.2 nlpaug_11.4 요약인터뷰 | 22 - 스스로의 아이디어로 시작하라인터뷰 | 23 - 신문사 데이터 과학자가 텍스트를 다루는 법CHAPTER 12 시뮬레이션과 최적화 대회_12.1 Connect X_12.2 가위바위보_12.3 산타 대회 2020_12.4 Halite_12.5 요약인터뷰 | 24 - 성장을 돕는 캐글PART III 데이터 과학 경력 관리CHAPTER 13 포트폴리오 준비_13.1 캐글로 포트폴리오 구축하기__13.1.1 노트북과 토론 활용하기_13.2 캐글을 넘어 온라인에 존재감 드러내기__13.2.1 블로그__13.2.2 깃허브_13.3 대회 최신 소식과 뉴스레터 모니터링하기_13.4 요약인터뷰 | 25 - 대회에서 얻은 새로운 기회인터뷰 | 26 - 칭찬은 캐글러를 춤추게 한다CHAPTER 14 새로운 기회를 찾는 법_14.1 대회에 참여한 다른 데이터 과학자와 관계 구축하기_14.2 캐글 데이와 캐글 밋업에 참가하기_14.3 주목받는 방법과 다른 직업 기회들__14.3.1 STAR 접근법_14.4 요약인터뷰 | 27 - 단기적인 피드백으로 개선하는 장기 연구인터뷰 | 28 - 비전공자의 데이터 과학 도전기인터뷰 | 29 - 16세에 그랜드마스터가 된 이야기인터뷰 | 30 - 캐글이 만든 커리어인터뷰 | 31 - 대회의 목적은 우승이 아닌 배움마무리
