ÄÜÅÙÃ÷ »ó¼¼º¸±â
½ÉÃþ °­È­ÇнÀ ÀÎ ¾×¼Ç


½ÉÃþ °­È­ÇнÀ ÀÎ ¾×¼Ç

½ÉÃþ °­È­ÇнÀ ÀÎ ¾×¼Ç

<¾Ë·º½º Â¥ÀÌ>,<ºê·£´ø ºê¶ó¿î> °øÀú/<·ù±¤> ¿ª | Á¦ÀÌÆà

Ãâ°£ÀÏ
2021-04-15
ÆÄÀÏÆ÷¸Ë
ePub
¿ë·®
17 M
Áö¿ø±â±â
PC½º¸¶Æ®ÆùÅÂºí¸´PC
ÇöȲ
½Åû °Ç¼ö : 0 °Ç
°£·« ½Åû ¸Þ¼¼Áö
ÄÜÅÙÃ÷ ¼Ò°³
¸ñÂ÷
ÇÑÁÙ¼­Æò

ÄÜÅÙÃ÷ ¼Ò°³

ÇÁ·ÎÁ§Æ®·Î ¹è¿ì´Â ½ÉÃþ °­È­ÇнÀÀÇ À̷аú ½ÇÁ¦!

ÀÌ Ã¥ ¡º½ÉÃþ °­È­ÇнÀ ÀÎ ¾×¼Ç¡»Àº ȯ°æÀÌ Á¦°øÇÏ´Â Á÷Á¢ÀûÀÎ Çǵå¹é¿¡ ±â¹ÝÇؼ­ ȯ°æ¿¡ ÀûÀÀÇÏ°í ÀÚ½ÅÀ» °³¼±ÇØ ³ª°¡´Â ¿¡ÀÌÀüÆ®ÀÇ ±¸Çö ¹æ¹ýÀ» ¼³¸íÇÑ´Ù. È帧ÀÌ ÀÖ´Â ÇϳªÀÇ °­Á ÇüÅ·Π±¸¼ºµÈ ÀÌ Ã¥¿¡¼­ ¿©·¯ºÐÀº ½ÉÃþ °­È­ÇнÀÀÇ ±âº» ±â¹ý°ú °í±Þ ±â¹ýÀ» ¹Ì·Î Å»ÃâÀ̳ª ºñµð¿À °ÔÀÓ Ç÷¹ÀÌ °°Àº Èï¹Ì·Î¿î ¿¹Á¦¸¦ ÅëÇؼ­ ¹è¿ì°Ô µÈ´Ù. ±× °úÁ¤¿¡¼­ ½ÉÃþ Q ½Å°æ¸Á°ú Á¤Ã¥ ±â¿ï±â ¹æ¹ýÀ» Æ÷ÇÔÇÑ ¿©·¯ ÇÙ½É ¾Ë°í¸®ÁòÀ» ÀÍÈú ¼ö ÀÖ°í, PyTorch¿Í OpenAI Gym °°Àº ¾÷°è Ç¥ÁØ¿¡ ÇØ´çÇÏ´Â ¶óÀ̺귯¸®¿¡µµ Àͼ÷ÇØÁú °ÍÀÌ´Ù.

¸ñÂ÷

PART I ±âÃÊ 1
CHAPTER 1 °­È­ÇнÀÀ̶õ? 3
1.1 ½ÉÃþ °­È­ÇнÀ¿¡¼­ ¡®½ÉÃþ¡¯ÀÇ ÀÇ¹Ì 4
1.2 °­È­ÇнÀ 6
1.3 µ¿Àû °èȹ¹ý°ú ¸óÅ×Ä«¸¦·Î ¹æ¹ý 9
1.4 °­È­ÇнÀÀÇ Æ² 12
1.5 °­È­ÇнÀÀ¸·Î ÇÒ ¼ö ÀÖ´Â ÀÏ 16
1.6 ¿Ö ½ÉÃþ °­È­ÇнÀÀΰ¡? 18
1.7 ÀÌ Ã¥ÀÇ ÁÖ¿ä ¼³¸í ¼ö´Ü: ²ö ±×¸² 21
1.8 ¾ÕÀ¸·ÎÀÇ ¿©Á¤ 22
¿ä¾à 24

CHAPTER 2 °­È­ÇнÀ ¹®Á¦ÀÇ ¸ðÇüÈ­: ¸¶¸£ÄÚÇÁ °áÁ¤ °úÁ¤ 25
2.1 ²ö ±×¸²°ú ÀÌ Ã¥ÀÇ ±³À° ¹æ½Ä 25
2.2 ¿©·¯ ÆÈ °­µµ ¹®Á¦ÀÇ Çعý 30
2.3 ¿©·¯ ÆÈ °­µµ ¹®Á¦¸¦ ±¤°í ¹èÄ¡ ÃÖÀûÈ­¿¡ Àû¿ë 41
2.4 PyTorch·Î ½Å°æ¸Á ¸¸µé±â 43
2.5 ¹®¸ÆÀû °­µµ ¹®Á¦ÀÇ Çعý 47
2.6 ¸¶¸£ÄÚÇÁ ¼ºÁú 52
2.7 ÇâÈÄ º¸»óÀÇ ¿¹Ãø: °¡Ä¡¿Í Á¤Ã¥ ÇÔ¼ö 55
¿ä¾à 59

CHAPTER 3 °¡Àå ³ªÀº µ¿ÀÛÀÇ ¼±ÅÃ: ½ÉÃþ Q ½Å°æ¸Á(DQN) 61
3.1 Q ÇÔ¼ö 62
3.2 Q ÇнÀ °³¿ä 64
3.3 Æı¹Àû ¸Á°¢ ¹æÁö: °æÇè ÀçÇö 85
3.4 ¸ñÇ¥¸ÁÀ» ÀÌ¿ëÇÑ ¾ÈÁ¤¼º °³¼± 92
3.5 Á¤¸® 99
¿ä¾à 102

CHAPTER 4 Á¤Ã¥ ±â¿ï±â ¹æ¹ý 103
4.1 ½Å°æ¸ÁÀ» ÀÌ¿ëÇÑ Á¤Ã¥ ÇÔ¼ö ±¸Çö 104
4.2 ÁÁÀº µ¿ÀÛÀÇ °­È­: Á¤Ã¥ ±â¿ï±â ¾Ë°í¸®Áò 108
4.3 OpenAI Gym ´Ù·ç±â 114
4.4 REINFORCE ¾Ë°í¸®Áò 117
¿ä¾à 125

CHAPTER 5 Á» ´õ ¾î·Á¿î ¹®Á¦ Ç®±â: ÇàÀ§ÀÚ-ºñÆòÀÚ ¸ðÇü 127
5.1 °¡Ä¡ ÇÔ¼ö¿Í Á¤Ã¥ ÇÔ¼öÀÇ °áÇÕ 129
5.2 ºÐ»ê ÈÆ·Ã 135
5.3 ÀÌÀÍ ÇàÀ§ÀÚ-ºñÆòÀÚ 141
5.4 N-´Ü°è ÇàÀ§ÀÚ-ºñÆòÀÚ 151
¿ä¾à 157

PART I I ´õ ³ôÀº °÷À» ÇâÇÏ¿© 159
CHAPTER 6 ¶Ç ´Ù¸¥ ÃÖÀûÈ­ ¹æ¹ý: ÁøÈ­ ¾Ë°í¸®Áò 161
6.1 °­È­ÇнÀÀÇ ¶Ç ´Ù¸¥ Á¢±Ù ¹æ½Ä 162
6.2 ÁøÈ­¸¦ ÀÌ¿ëÇÑ °­È­ÇнÀ 163
6.3 CartPoleÀ» À§ÇÑ À¯Àü ¾Ë°í¸®Áò 172
6.4 ÁøÈ­ ¾Ë°í¸®ÁòÀÇ Àå´ÜÁ¡ 180
6.5 ±Ô¸ð°¡º¯Àû ´ë¾ÈÀ¸·Î¼­ÀÇ ÁøÈ­ ¾Ë°í¸®Áò 182
6.5.6 ±â¿ï±â ±â¹Ý Á¢±Ù ¹æ½ÄÀÇ ±Ô¸ð È®Àå 189
¿ä¾à 189

CHAPTER 7 ¸ðµç °¡´É¼ºÀÇ Å½»ö: ºÐÆ÷ ½ÉÃþ Q ½Å°æ¸Á 191
7.1 ±â´ñ°ª Q ÇнÀÀÇ ¹®Á¦Á¡ 192
7.2 ´Ù½Ã »ìÆ캸´Â È®·ü°ú Åë°è 197
7.3 º§¸Õ ¹æÁ¤½Ä 204
7.4 ºÐÆ÷ Q ÇнÀ 206
7.5 È®·üºÐÆ÷ÀÇ ºñ±³ 219
7.6 °¡»óÀÇ µ¥ÀÌÅÍ¿¡ ´ëÇÑ ºÐÆ÷ DQN 225
7.7 ºÐÆ÷ DQNÀ» ÀÌ¿ëÇÑ ¾ÆŸ¸® ÇÁ¸®¿þÀÌ ÇнÀ 231
¿ä¾à 237

CHAPTER 8 È£±â½É ÁÖµµ ŽÇè 239
8.1 ¿¹Ãø ºÎȣȭ¸¦ ÀÌ¿ëÇÑ Èñ¼Ò º¸»ó ¹®Á¦ ÇØ°á 241
8.2 ¿ª¹æÇâ µ¿¿ªÇÐ ¿¹Ãø 244
8.3 ½´ÆÛ ¸¶¸®¿Àºê¶ó´õ½º ȯ°æ ¼³Á¤ 247
8.4 Q ½Å°æ¸Á Àüó¸® 250
8.5 Q ½Å°æ¸Á°ú Á¤Ã¥ ÇÔ¼ö ¼³Á¤ 253
8.6 ICM(³»ÀçÀû È£±â½É ¸ðµâ) 257
8.7 ±× ¹ÛÀÇ ³»ÀçÀû º¸»ó ¸ÞÄ¿´ÏÁòµé 271
¿ä¾à 274

CHAPTER 9 ´ÙÁß ¿¡ÀÌÀüÆ® °­È­ÇнÀ 277
9.1 ´ÜÀÏ ¿¡ÀÌÀüÆ®¿¡¼­ ´ÙÁß ¿¡ÀÌÀüÆ®·Î 278
9.2 ÀÌ¿ô Q ÇнÀ 282
9.3 1Â÷¿ø ÀÌ¡ ¸ðÇü 286
9.4 Æò±ÕÀå Q ÇнÀ°ú 2Â÷¿ø ÀÌ¡ ¸ðÇü 298
9.5 È¥ÇÕ ÇùÁ¶-°æÀï °ÔÀÓ 309
¿ä¾à 323

CHAPTER 10 Çؼ® °¡´ÉÇÑ °­È­ÇнÀ: ÁÖÀÇ ¸ðÇü°ú °ü°è ¸ðÇü 325
10.1 ÁÖÀÇ¿Í °ü°è ÆíÇâÀ» ÀÌ¿ëÇÑ ±â°èÇнÀ Çؼ®¼º °³¼± 326
10.2 ÁÖÀÇ ¸ÞÄ¿´ÏÁòÀ» ÀÌ¿ëÇÑ °ü°è Ãß·Ð 330
10.3 MNIST À̹ÌÁö ºÐ·ù¸¦ À§ÇÑ ÀÚ°¡ ÁÖÀÇ ¸ðÇü ±¸Çö 342
10.4 ´ÙÁß Çìµå ÁÖÀÇ ¸ðÇü°ú °ü°è DQN 356
10.5 ÀÌÁß Q ÇнÀ 365
10.6 ÈƷðú ÁÖÀÇ ½Ã°¢È­ 367
¿ä¾à 376

CHAPTER 11 °á·Ð: µ¹¾Æº¸±â¿Í ³»´Ùº¸±â 379
11.1 ÇÙ½É Á¤¸® 380
11.2 ½ÉÃþ °­È­ÇнÀ ºÐ¾ßÀÇ ¹Ì°³Ã´ ÁÖÁ¦µé 382
11.3 ¸¶Ä¡¸ç 386

APPENDIX A ¼öÇÐ, ½ÉÃþÇнÀ, PyTorch 387
A.1 ¼±Çü´ë¼ö 388
A.2 ¹ÌÀûºÐ 390
A.3 ½ÉÃþÇнÀ 396A.4 PyTorch 397

Âü°í¹®Çå 402
ã¾Æº¸±â 406