사람처럼 학습하는 인공지능, 심층 강화학습의 모든 것사람은 시행착오를 통해 학습한다. 아픈 실패를 안겨준 상황을 피하고, 즐거웠던 성공의 경험을 되풀이하려 한다. 심층 강화학습도 마찬가지이다. 심층 강화학습은 딥러닝 기법을 활용해 환경의 반응을 기반으로 탐색하고 학습하는 머신러닝 시스템을 만드는 것을 목표로 한다. 저자는 심층 강화학습을 이해하는 밑바탕이 되어줄 강화학습에 관한 개념부터 알고리즘과 심층 강화학습의 기법, 최신 기술 동향까지 심층 강화학습에 대한 모든 걸 소개한다. 또한, 각 장마다 설명에 사용되는 예시와 삽화, 실습, 명확한 설명을 수록하여 머신러닝 접근법에 대해 독자들이 쉽게 살펴볼 수 있도록 해준다.
록히드 마틴의 미사일 화기 통제 및 자율 시스템 부서에서 강화학습을 활용하며 일하고 있다. 조지아 공과대학교에서 강화학습 및 의사 결정과 관련된 강의를 했으며, 유다시티에서 머신러닝 프로젝트 리뷰어 및 자율 주행 강의에서 멘토로 활동했으며, 심층 강화학습 강의를 개발했다. 조지아 공과대학교에서 컴퓨터과학 석사 과정을 수료했고, 유기적 지능에 대해 연구했다.
CHAPTER 1 심층 강화학습의 기초1.1 심층 강화학습이란 무엇인가?1.2 심층 강화학습의 과거와 현재 그리고 미래1.3 심층 강화학습의 적절성1.4 두 가지의 명확한 기대치 설정1.5 요약CHAPTER 2 강화학습의 수학적 기초2.1 강화학습의 구성 요소2.2 MDP: 환경의 엔진2.3 요약CHAPTER 3 순간 목표와 장기 목표 간의 균형3.1 의사결정을 내리는 에이전트의 목적3.2 이상적인 행동들에 대한 계획3.3 요약CHAPTER 4 정보의 수집과 사용 간의 균형4.1 평가가능한 피드백 해석의 어려움4.2 전략적인 탐색4.3 요약CHAPTER 5 에이전트의 행동 평가5.1 정책들의 가치를 추정하는 학습5.2 여러 단계를 통해서 추정하는 학습5.3 요약CHAPTER 6 에이전트의 행동 개선6.1 강화학습 에이전트의 구조6.2 행동에 대한 정책을 개선하기 위한 학습6.3 학습에서 행동을 분리하기6.4 요약CHAPTER 7 조금 더 효율적인 방법으로 목표에 도달하기7.1 강건한 목표를 활용한 정책 개선 학습7.2 상호작용, 학습 그리고 계획하는 에이전트7.3 요약CHAPTER 8 가치 기반 심층 강화학습 개요8.1 심층 강화학습 에이전트가 사용하는 피드백의 유형8.2 강화학습을 위한 함수 근사화8.3 NFQ: 가치 기반 심층 강화학습을 위한 첫 번째 시도8.4 요약CHAPTER 9 조금 더 안정적인 가치 기반 학습 방법들9.1 DQN: 강화학습을 지도학습처럼 만들기9.2 이중 DQN: 행동-가치 함수에 대한 과도추정 극복9.3 요약CHAPTER 10 샘플 효율적인 가치 기반 학습 방법들10.1 듀얼링 DDQN: 강화학습에 초점을 맞춘 신경망 구조10.2 PER: 유의미한 경험 재현에 대한 우선순위 부여10.3 요약CHAPTER 11 정책-경사법과 액터-크리틱 학습법11.1 REINFORCE: 결과기반 정책 학습11.2 VPG: 가치함수 학습하기11.3 A3C: 병렬적 정책 갱신11.4 GAE: 강력한 이점 추정11.5 A2C: 동기화된 정책 갱신11.6 요약CHAPTER 12 발전된 액터-크리틱 학습법12.1 DDPG: 결정적 정책에 대한 근사화12.2 TD3: DDPG를 넘어선 성능을 보이는 개선점들12.3 SAC: 기대 반환값과 엔트로피를 최대화하기12.4 PPO: 최적화 과정을 제한하기12.5 요약CHAPTER 13 범용 인공지능을 향한 길13.1 다룬 내용과 다루지 못한 내용13.2 범용 인공지능에 대한 조금 더 발전된 개념들13.3 이후의 내용들13.4 요약부록 A 구글 콜랩에서의 실습 환경
