ÇÁ·ÎÁ§Æ®·Î ¹è¿ì´Â ½ÉÃþ °ÈÇнÀÀÇ À̷аú ½ÇÁ¦!ÀÌ Ã¥ ¡º½ÉÃþ °ÈÇнÀ ÀÎ ¾×¼Ç¡»Àº ȯ°æÀÌ Á¦°øÇÏ´Â Á÷Á¢ÀûÀÎ Çǵå¹é¿¡ ±â¹ÝÇؼ ȯ°æ¿¡ ÀûÀÀÇÏ°í ÀÚ½ÅÀ» °³¼±ÇØ ³ª°¡´Â ¿¡ÀÌÀüÆ®ÀÇ ±¸Çö ¹æ¹ýÀ» ¼³¸íÇÑ´Ù. È帧ÀÌ ÀÖ´Â ÇϳªÀÇ °Á ÇüÅ·Π±¸¼ºµÈ ÀÌ Ã¥¿¡¼ ¿©·¯ºÐÀº ½ÉÃþ °ÈÇнÀÀÇ ±âº» ±â¹ý°ú °í±Þ ±â¹ýÀ» ¹Ì·Î Å»ÃâÀ̳ª ºñµð¿À °ÔÀÓ Ç÷¹ÀÌ °°Àº Èï¹Ì·Î¿î ¿¹Á¦¸¦ ÅëÇؼ ¹è¿ì°Ô µÈ´Ù. ±× °úÁ¤¿¡¼ ½ÉÃþ Q ½Å°æ¸Á°ú Á¤Ã¥ ±â¿ï±â ¹æ¹ýÀ» Æ÷ÇÔÇÑ ¿©·¯ ÇÙ½É ¾Ë°í¸®ÁòÀ» ÀÍÈú ¼ö ÀÖ°í, PyTorch¿Í OpenAI Gym °°Àº ¾÷°è Ç¥ÁØ¿¡ ÇØ´çÇÏ´Â ¶óÀ̺귯¸®¿¡µµ Àͼ÷ÇØÁú °ÍÀÌ´Ù.
PART I ±âÃÊ 1CHAPTER 1 °ÈÇнÀÀ̶õ? 31.1 ½ÉÃþ °ÈÇнÀ¿¡¼ ¡®½ÉÃþ¡¯ÀÇ ÀÇ¹Ì 41.2 °ÈÇнÀ 61.3 µ¿Àû °èȹ¹ý°ú ¸óÅ×Ä«¸¦·Î ¹æ¹ý 91.4 °ÈÇнÀÀÇ Æ² 121.5 °ÈÇнÀÀ¸·Î ÇÒ ¼ö ÀÖ´Â ÀÏ 161.6 ¿Ö ½ÉÃþ °ÈÇнÀÀΰ¡? 181.7 ÀÌ Ã¥ÀÇ ÁÖ¿ä ¼³¸í ¼ö´Ü: ²ö ±×¸² 211.8 ¾ÕÀ¸·ÎÀÇ ¿©Á¤ 22¿ä¾à 24CHAPTER 2 °ÈÇнÀ ¹®Á¦ÀÇ ¸ðÇüÈ: ¸¶¸£ÄÚÇÁ °áÁ¤ °úÁ¤ 252.1 ²ö ±×¸²°ú ÀÌ Ã¥ÀÇ ±³À° ¹æ½Ä 252.2 ¿©·¯ ÆÈ °µµ ¹®Á¦ÀÇ Çعý 302.3 ¿©·¯ ÆÈ °µµ ¹®Á¦¸¦ ±¤°í ¹èÄ¡ ÃÖÀûÈ¿¡ Àû¿ë 412.4 PyTorch·Î ½Å°æ¸Á ¸¸µé±â 432.5 ¹®¸ÆÀû °µµ ¹®Á¦ÀÇ Çعý 472.6 ¸¶¸£ÄÚÇÁ ¼ºÁú 522.7 ÇâÈÄ º¸»óÀÇ ¿¹Ãø: °¡Ä¡¿Í Á¤Ã¥ ÇÔ¼ö 55¿ä¾à 59CHAPTER 3 °¡Àå ³ªÀº µ¿ÀÛÀÇ ¼±ÅÃ: ½ÉÃþ Q ½Å°æ¸Á(DQN) 613.1 Q ÇÔ¼ö 623.2 Q ÇнÀ °³¿ä 643.3 Æı¹Àû ¸Á°¢ ¹æÁö: °æÇè ÀçÇö 853.4 ¸ñÇ¥¸ÁÀ» ÀÌ¿ëÇÑ ¾ÈÁ¤¼º °³¼± 923.5 Á¤¸® 99¿ä¾à 102CHAPTER 4 Á¤Ã¥ ±â¿ï±â ¹æ¹ý 1034.1 ½Å°æ¸ÁÀ» ÀÌ¿ëÇÑ Á¤Ã¥ ÇÔ¼ö ±¸Çö 1044.2 ÁÁÀº µ¿ÀÛÀÇ °È: Á¤Ã¥ ±â¿ï±â ¾Ë°í¸®Áò 1084.3 OpenAI Gym ´Ù·ç±â 1144.4 REINFORCE ¾Ë°í¸®Áò 117¿ä¾à 125CHAPTER 5 Á» ´õ ¾î·Á¿î ¹®Á¦ Ç®±â: ÇàÀ§ÀÚ-ºñÆòÀÚ ¸ðÇü 1275.1 °¡Ä¡ ÇÔ¼ö¿Í Á¤Ã¥ ÇÔ¼öÀÇ °áÇÕ 1295.2 ºÐ»ê ÈÆ·Ã 1355.3 ÀÌÀÍ ÇàÀ§ÀÚ-ºñÆòÀÚ 1415.4 N-´Ü°è ÇàÀ§ÀÚ-ºñÆòÀÚ 151¿ä¾à 157PART I I ´õ ³ôÀº °÷À» ÇâÇÏ¿© 159CHAPTER 6 ¶Ç ´Ù¸¥ ÃÖÀûÈ ¹æ¹ý: ÁøÈ ¾Ë°í¸®Áò 1616.1 °ÈÇнÀÀÇ ¶Ç ´Ù¸¥ Á¢±Ù ¹æ½Ä 1626.2 Áøȸ¦ ÀÌ¿ëÇÑ °ÈÇнÀ 1636.3 CartPoleÀ» À§ÇÑ À¯Àü ¾Ë°í¸®Áò 1726.4 ÁøÈ ¾Ë°í¸®ÁòÀÇ Àå´ÜÁ¡ 1806.5 ±Ô¸ð°¡º¯Àû ´ë¾ÈÀ¸·Î¼ÀÇ ÁøÈ ¾Ë°í¸®Áò 1826.5.6 ±â¿ï±â ±â¹Ý Á¢±Ù ¹æ½ÄÀÇ ±Ô¸ð È®Àå 189¿ä¾à 189CHAPTER 7 ¸ðµç °¡´É¼ºÀÇ Å½»ö: ºÐÆ÷ ½ÉÃþ Q ½Å°æ¸Á 1917.1 ±â´ñ°ª Q ÇнÀÀÇ ¹®Á¦Á¡ 1927.2 ´Ù½Ã »ìÆ캸´Â È®·ü°ú Åë°è 1977.3 º§¸Õ ¹æÁ¤½Ä 2047.4 ºÐÆ÷ Q ÇнÀ 2067.5 È®·üºÐÆ÷ÀÇ ºñ±³ 2197.6 °¡»óÀÇ µ¥ÀÌÅÍ¿¡ ´ëÇÑ ºÐÆ÷ DQN 2257.7 ºÐÆ÷ DQNÀ» ÀÌ¿ëÇÑ ¾ÆŸ¸® ÇÁ¸®¿þÀÌ ÇнÀ 231¿ä¾à 237CHAPTER 8 È£±â½É ÁÖµµ ŽÇè 2398.1 ¿¹Ãø ºÎȣȸ¦ ÀÌ¿ëÇÑ Èñ¼Ò º¸»ó ¹®Á¦ ÇØ°á 2418.2 ¿ª¹æÇâ µ¿¿ªÇÐ ¿¹Ãø 2448.3 ½´ÆÛ ¸¶¸®¿Àºê¶ó´õ½º ȯ°æ ¼³Á¤ 2478.4 Q ½Å°æ¸Á Àüó¸® 2508.5 Q ½Å°æ¸Á°ú Á¤Ã¥ ÇÔ¼ö ¼³Á¤ 2538.6 ICM(³»ÀçÀû È£±â½É ¸ðµâ) 2578.7 ±× ¹ÛÀÇ ³»ÀçÀû º¸»ó ¸ÞÄ¿´ÏÁòµé 271¿ä¾à 274CHAPTER 9 ´ÙÁß ¿¡ÀÌÀüÆ® °ÈÇнÀ 2779.1 ´ÜÀÏ ¿¡ÀÌÀüÆ®¿¡¼ ´ÙÁß ¿¡ÀÌÀüÆ®·Î 2789.2 ÀÌ¿ô Q ÇнÀ 2829.3 1Â÷¿ø ÀÌ¡ ¸ðÇü 2869.4 Æò±ÕÀå Q ÇнÀ°ú 2Â÷¿ø ÀÌ¡ ¸ðÇü 2989.5 È¥ÇÕ ÇùÁ¶-°æÀï °ÔÀÓ 309¿ä¾à 323CHAPTER 10 Çؼ® °¡´ÉÇÑ °ÈÇнÀ: ÁÖÀÇ ¸ðÇü°ú °ü°è ¸ðÇü 32510.1 ÁÖÀÇ¿Í °ü°è ÆíÇâÀ» ÀÌ¿ëÇÑ ±â°èÇнÀ Çؼ®¼º °³¼± 32610.2 ÁÖÀÇ ¸ÞÄ¿´ÏÁòÀ» ÀÌ¿ëÇÑ °ü°è Ãß·Ð 33010.3 MNIST À̹ÌÁö ºÐ·ù¸¦ À§ÇÑ ÀÚ°¡ ÁÖÀÇ ¸ðÇü ±¸Çö 34210.4 ´ÙÁß Çìµå ÁÖÀÇ ¸ðÇü°ú °ü°è DQN 35610.5 ÀÌÁß Q ÇнÀ 36510.6 ÈƷðú ÁÖÀÇ ½Ã°¢È 367¿ä¾à 376CHAPTER 11 °á·Ð: µ¹¾Æº¸±â¿Í ³»´Ùº¸±â 37911.1 ÇÙ½É Á¤¸® 38011.2 ½ÉÃþ °ÈÇнÀ ºÐ¾ßÀÇ ¹Ì°³Ã´ ÁÖÁ¦µé 38211.3 ¸¶Ä¡¸ç 386APPENDIX A ¼öÇÐ, ½ÉÃþÇнÀ, PyTorch 387A.1 ¼±Çü´ë¼ö 388A.2 ¹ÌÀûºÐ 390A.3 ½ÉÃþÇнÀ 396A.4 PyTorch 397Âü°í¹®Çå 402ã¾Æº¸±â 406