강화학습을 어떻게 시작해야 할지 모르는 분들을 위해서 준비했다!강화학습은 인간이 학습하는 과정과 비슷한 인공지능 분야 중 하나이다. 로봇의 행동학습, 자율주행 자동차의 행동학습에 대표적으로 사용되며, 알파고의 핵심 알고리즘으로 유명해졌다. 이 책은 강화학습에 관심이 있지만 어디서 어떻게 시작해야 할지 모르는 분들을 위해 가장 기초적인 상태가치함수/행동가치함수의 정의부터 시작해서 신경망을 이용한 DQN까지 강화학습의 기본 알고리즘을 충분히 이해할 수 있게 구성했다. 실습 예제로 고전게임 틱택토(Tic Tac Toe)를 플레이하는 알파고 제로(AlphaGo Zero)와 같은 인공지능 플레이어를 만들어 봄으로써 인공지능이 어떻게 게임을 플레이하는가를 알아본다.이 책으로 차근차근 실습을 진행한다면 강화학습의 기본 알고리즘을 충분히 이해할 수 있을 것이며, 이를 바탕으로 여러 가지 인공지능 시스템을 만들 수 있으리라 생각한다.
소니 반도체에서 데이터 분석을 활용한 알고리즘 및 시스템 개발 업무를 했다. 현재 삼성전자에서 관련 데이터 분석 업무를 하고 있으며 사원을 대상으로 통계 알고리즘 강의를 진행했다. 일본 규슈대학교에서 인공지능의 한 분야인 Reinforcement Learning 알고리즘 개발로 박사학위를 받았으며 관심 분야는 Reinforcement Learning, Neural Network, Genetic Algorithm 등 Machine Learning Algorithm을 활용한 시스템 개발이다. 저서로는 『데이터 분석을 떠받치는 수학 개정판(2020)』 『기초부터 시작하는 강화학습/신경망 알고리즘(2019)』이 있으며 『정석으로 배우는 딥러닝(2017)』을 감수하였고 『가장 쉬운 딥러닝 입문 교실(2018), 실전! 딥러닝(2019)』을 번역하였다.
01장: 인공지능이란?머신러닝의 종류 __지도학습 __비지도학습 __강화학습 강화학습과 신경망 이 책의 구성 02장: 강화학습강화학습의 기본 요소 __환경 __상태 (S) __에이전트 __행동 (A) __상태전이확률 (P) __보상 (R) __수익 (G) __정책 (r) __에피소드 __마르코프 의사결정과정 (MDP) 환경과 에이전트 준비 가치함수 : 상태/행동의 가치 계산 __상태가치함수 : Vr __행동가치함수 : Qr 동적계획법 : 최적 정책 선택 __정책 평가 __반복 정책 평가 __정책 개선 __정책 반복 __가치 반복 몬테카를로 방법 __몬테카를로 방법의 Prediction __몬테카를로 방법의 Control 시간차 학습 __시간차 학습의 Prediction __시간차 학습의 Control : SARSA(On-policy) __시간차 학습의 Control : Q-learning(Off-policy) __Double Q-learning __정책 그레이디언트 : 액터-크리틱 함수 근사 함수 근사 : TD(0) Prediction 함수 근사 : Q-learning 03장: 인공신경망퍼셉트론 손실함수 __평균제곱오차 __교차엔트로피오차 경사하강법 퍼셉트론의 학습 __숫자 외우기 __선형 함수 근사 __비선형 함수 근사 다층 퍼셉트론 활성화 함수 __시그모이드 함수 __하이퍼볼릭탄젠트 함수 __ReLU 함수 __소프트맥스 함수 오차역전파법 __오차역전파법이란? __중간층과 출력층 사이의 가중치와 편향 학습 __입력층과 중간층 사이의 가중치와 편향 학습 __비선형 함수 근사 학습 최적화 __일정 비율 감소 __모멘텀 __AdaGrad __RMSProp __Adam __드롭아웃 __배치 정규화 __그 밖의 방법 배치 경사하강법, 확률적 경사하강법, 미니배치 경사하강법 __배치 경사하강법 __확률적 경사하강법 __미니 배치 경사하강법 __에폭 케라스를 이용한 신경망 구현 합성곱신경망 __합성곱신경망이란? __합성곱층 __채널 __스트라이드 __패딩 __풀링층 __플래튼층 케라스를 이용한 합성곱신경망 구현 __손글씨 데이터 __손글씨 데이터 전처리 __합성곱신경망 구축 __학습과 결과 확인 04장: 인공지능 만들기: 틱택토 게임 틱택토 준비 인간 플레이어 랜덤 플레이어 게임 진행 함수 몬테카를로 플레이어 Q-learning 플레이어 DQN 플레이어 부록A: 참고 자료A.1 미분 A.2 편미분 A.3 연쇄법칙
