강화학습과 심층강화학습 알고리즘을 직접 구현하면서 이해한다!이 책에서는 강화학습이나 딥러닝 같은 이론보다는 강화학습을 실제로 구현하는 데 초점을 맞춘다. 연구자가 아닌 일반인을 대상으로 실제로 강화학습 알고리즘을 구현하는 과정과 통해 강화학습 및 강화학습에 딥러닝을 접목한 심층강화학습을 이해하는 것을 목표로 한다. 따라서 이론보다는 구현을 중시하고 코드와 그에 대한 설명을 많이 다룬다. 초보 수준의 파이썬 프로그래밍 및 선형대수에 대한 지식을 갖췄고, 딥러닝과 강화학습에 대해 관심은 있지만 자세한 구현 방법을 알지 못하는 분들이라면 이 책을 통해 강화학습 및 심층강화학습 알고리즘의 원리와 구체적인 구현 방법을 손에 익힐 수 있을 것이다.
SIer의 기술본부 개발기술부 소속. 딥러닝을 비롯한 머신러닝 관련 기술의 연구 개발 및 기술 지원을 담당한다. 아카시 공업고등전문학교, 도쿄대학 공학부를 거쳐 도쿄대학 대학원, 짐보/고타니 실험실에서 뇌 기능 측정 및 계산 신경과학을 연구했으며 2016년에 박사 학위를 취득했다. 도쿄대학 특임 연구원을 거쳐 2017년 4월부터 현재 직무에 종사 중이다. 저서로 『PyTorch를 활용한 강화학습/심층강화학습 실전 입문』, 『つくりながら學ぶ! Pythonによる因果分析』 등이 있다.
· 01장: 강화학습이란 무엇인가?1.1 머신러닝의 유형(지도학습, 비지도학습, 강화학습) __용어 정리 __지도학습, 비지도학습, 강화학습 1.2 강화학습 및 심층강화학습의 역사 __강화학습과 뇌에서 일어나는 학습 __강화학습과 딥러닝의 결합 1.3 심층강화학습의 응용 사례 __심층강화학습의 응용 사례 __심층강화학습의 미래 · 02장: 미로찾기를 위한 강화학습 구현2.1 주피터 노트북 체험 페이지 사용법 __이번 장에서 사용할 강화학습 구현 및 실행 환경 __주피터 노트북 체험 페이지 사용법 2.2 미로와 에이전트 구현 __미로 구현 __에이전트 구현 2.3 정책반복 구현__정책반복과 가치반복 __정책경사 알고리즘에 따라 에이전트 이동시키기 __정책경사 알고리즘으로 정책 수정 __정책경사 알고리즘에 대한 이론 __보상 2.4 가치반복 알고리즘 관련 용어 정리 __행동가치와 상태가치 __벨만 방정식과 마르코프 결정 프로세스 __ε-greedy 알고리즘으로 정책 구현하기 2.5 Sarsa 알고리즘 구현 __행동가치 함수 Q(s,a)를 Sarsa 알고리즘으로 수정 __Sarsa로 미로찾기 구현 __Q러닝의 알고리즘 __Q러닝 구현 2.6 Q러닝 구현 · 03장: 역진자 문제를 위한 강화학습 구현3.1 로컬 PC에 강화학습 개발환경 갖추기 __파이썬 실행 환경인 아나콘다 설치 __강화학습에 사용할 라이브러리 설치 3.2 역진자 태스크 “CartPole” __CartPole이란? __CartPole 구현 3.3 다변수, 연속값 상태를 표형식으로 나타내기 __CartPole의 상태 __상태의 이산변수 변환 구현 3.4 Q러닝 구현 · 04장: 파이토치를 이용한 딥러닝 구현4.1 신경망과 딥러닝의 역사 __첫 번째 신경망 연구 붐 __두 번째 신경망 연구 붐 __세 번째 신경망 연구 붐 4.2 딥러닝의 계산 과정 __추론 단계 __학습 단계 4.3 파이토치를 이용한 MNIST 손글씨 이미지 분류 구현 __파이토치란? __파이토치 개발환경 갖추기 __MNIST 데이터 다운로드 __파이토치를 이용한 딥러닝 구현 ____1. 데이터 전처리 ____2. DataLoader 생성 ____3. 신경망 구성 ____4. 오차함수 및 최적화 기법 설정 ____5. 학습 및 추론 설정 ____6. 학습 및 추론 수행 파이토치 사용법에 대한 보충 설명 · 05장: 딥러닝을 적용한 강화학습 - DQN 구현5.1 딥러닝을 적용한 Q러닝 __표형식 표현의 문제점 __심층강화학습 알고리즘 DQN 5.2 DQN을 구현할 때 중요한 4가지 기법 5.3 DQN 구현(1) __파이토치로 DQN을 구현할 때 주의점 __DQN 구현 5.4 DQN 구현(2) · 06장: 딥러닝을 적용한 강화학습 - 심화 과정6.1 심층강화학습 알고리즘 지도 6.2 DDQN(Double-DQN) 구현 __DDQN __DDQN 구현 6.3 Dueling Network 구현 __Dueling Network __Dueling Network 구현 6.4 Prioritized Experience Replay 구현 __Prioritized Experience Replay __Prioritized Experience Replay 구현 6.5 A2C 구현 __A2C __A2C 구현 · 07장: AWS GPU 환경에서 벽돌 깨기 구현7.1 벽돌 깨기 게임 “Breakout” 7.2 AWS로 GPU를 사용하는 딥러닝 실행 환경 구성 __우분투 터미널 설치 __가상 서버와 통신하는 데 사용할 키 생성 __AWS에서 딥러닝을 실행할 가상 서버 만들기 __벽돌 깨기 게임 실행 환경 구축 7.3 Breakout 학습에서 중요한 포인트 4가지 __로컬 PC 환경 설정 __Breakout 게임을 학습하는 데 중요한 포인트 4가지 7.4 A2C 구현(1) 7.5 A2C 구현(2)
