지도학습과 강화학습을 위한 최신 기술 메타러닝을 이해하자!

이 책은 최근 인공지능과 머신러닝 분야에서 각광받고 있는 메타러닝에 대한 입문 서적입니다. 독자 여러분께서 다소 생소할 수 있는 메타러닝에 대한 개념을 이해하고 실제로 세부 알고리즘들까지 구현해보는 기회를 제공하는 것을 목표로 합니다. 특히 메타러닝에서 회귀 문제, 분류 문제를 다루는 메타 지도학습뿐 아니라, 강화학습을 소개하고 이에 대해 메타러닝을 적용한 메타 강화학습까지 심도 있게 다루는 것이 이 책의 큰 장점입니다. 처음에는 다소 생소할 수 있지만, 꾸준히 이 책을 반복해서 읽고 실습하면 멋진 최신 머신러닝 기술인 메타러닝을 한층 깊이 이해할 수 있을 것입니다.

동국대학교에서 컴퓨터공학을 전공하고 서울대학교 컴퓨터공학부에서 박사과정 중에 있다. 메타러닝을 연구하고, 최근에는 메타 강화학습, 오프라인 강화학습에 관심을 가지고 연구하고 있다.

▣ 1장: 메타러닝 개요
1.1 머신러닝과 딥러닝
1.2 메타러닝이란?
1.3 메타러닝 학습 환경 구축
___1.3.1 아나콘다 설치와 사용
___1.3.2 아나콘다 설치
___1.3.3 깃허브 저장소 클론 및 환경 구축

▣ 2장: 메타 지도학습
2.1 메타러닝 문제 정의
___2.1.1 태스크 정의
___2.1.2 메타러닝 데이터셋
___2.1.3 메타러닝
___2.1.4 실습: Torchmeta 라이브러리 소개
2.2 모델 기반 메타러닝
___2.2.1 모델 기반 메타러닝의 핵심 개념
___2.2.2 NTM(Neural Turing Machines)
___2.2.3 MANN(Memory-Augmented Neural Networks)
___2.2.4 실습: MANN 구현
___2.2.5 SNAIL(Simple Neural Attentive Meta-Learner)
___2.2.6 실습: SNAIL 구현
2.3 최적화 기반 메타러닝
___2.3.1 전이학습과 최적화 기반 메타러닝
___2.3.2 MAML과 FOMAML
___2.3.3 실습: MAML-Regression
___2.3.4 실습: MAML-Classification
2.4 메트릭 기반 메타러닝
___2.4.1 KNN과 메트릭 기반 메타러닝
___2.4.2 Matching 네트워크
___2.4.3 실습: Matching 네트워크 구현
___2.4.4 Prototypical 네트워크
___2.4.5 실습: Prototypical 네트워크 구현
2.5 메타러닝 알고리즘 속성과 장단점
___2.5.1 메타러닝 알고리즘의 세 가지 속성
___2.5.2 메타러닝 알고리즘 비교

▣ 3장: 강화학습 개요
3.1 마르코프 결정 과정, 정책, 가치함수
___3.1.1 마르코프 결정 과정
___3.1.2 정책과 강화학습의 목표
___3.1.3 가치 함수
3.2 탐험과 활용
3.3 강화학습 알고리즘의 종류
___3.3.1 On-policy와 Off-policy
___3.3.2 정책 기반 알고리즘
___3.3.3 가치 기반 알고리즘
___3.3.4 액터 크리틱 알고리즘
3.4 TRPO(Trust Region Policy Optimization)
___3.4.1 TRPO 아이디어
___3.4.2 Surrogate 목적 함수와 제약 조건
___3.4.3 켤레 그라디언트법 기반 최적화
3.5 PPO(Proximal Policy Optimzation)
___3.5.1 PPO 아이디어
___3.5.2 Clipped Surrogate 목적함수
___3.5.3 PPO 알고리즘
3.6 SAC(Soft Actor Critic)
___3.6.1 엔트로피
___3.6.2 최대 엔트로피 강화학습
___3.6.3 가치함수 및 정책 학습
___3.6.4 SAC 알고리즘

▣ 4장: 메타 강화학습
4.1 메타 강화학습
___4.1.1 태스크 개념 소개
___4.1.2 메타 강화학습 문제 정의
___4.1.3 MuJoCo 및 Half-Cheetah 환경 개념 소개
4.2 순환 정책 메타 강화학습
___4.2.1 GRU
___4.2.2 순환 정책 메타 강화학습
___4.2.3 RL2
___4.2.4 실습: RL2 구현
4.3 최적화 기반 메타 강화학습
___4.3.1 MAML-RL
___4.3.2 실습: MAML-RL 구현
4.4 컨텍스트 기반 메타 강화학습
___4.4.1 태스크 추론 관점에서의 메타 강화학습
___4.4.2 컨텍스트 기반 정책
___4.4.3 변분적 추론
___4.4.4 PEARL(Probabilistic Embeddings for Actor critic RL)
___4.4.5 실습: PEARL 구현

▣ 5장: 오픈 챌린지와 메타러닝 애플리케이션
5.1 오픈 챌린지(Open Chanllenges)
___5.1.1 메타 과적합
___5.1.2 치명적 망각과 지속 학습
___5.1.3 부족한 벤치마크
___5.1.4 부족한 레이블된 데이터와 메타 비지도 학습
5.2 메타러닝 애플리케이션
___5.2.1 컴퓨터 비전
___5.2.2 강화학습
___5.2.3 자연어 처리
___5.2.4 의료
___5.2.5 마치며