¿¢¼¿¸¸À¸·Î µö·¯´× µ¿ÀÛ ¿ø¸®¸¦ ÀÌÇØÇÒ ¼ö ÀÖ´Â AI ÀÀ¿ë ÀÔ¹®¼! ÀÚ¿¬¾î 󸮿¡¼ °¡Àå ÁÖ¸ñ¹Þ´Â ½Å°æ¸Á ¾Ë°í¸®Áò RNN°ú °ÈÇнÀ ±â¹ýÀ¸·Î Á¤È®µµ¸¦ ³ôÀÎ DQNÀ» ¿¢¼¿·Î ½±°Ô ¼Ò°³! ¡¸¿¢¼¿·Î ¹è¿ì´Â µö·¯´×¡¹ÀÇ ¼ÓÆí°ÝÀÎ ¡º¿¢¼¿·Î ¹è¿ì´Â ¼øȯ ½Å°æ¸Á¡¤°ÈÇнÀ ÃÊ(õ±)ÀÔ¹®¡»Àº ÀüÆíÀÌ CNN(ÇÕ¼º°ö ½Å°æ¸Á) À§ÁÖ¿´´Ù¸é Á» ´õ µö·¯´× ÂÊ¿¡ ½ÉÈµÈ RNN(¼øȯ ½Å°æ¸Á), DQN(½ÉÃþ Q-³×Æ®¿öÅ©)ÆíÀÌ´Ù. ÀÌ Ã¥ Á¦¸ñ¿¡¼ ¡®ÃÊ(õ±)ÀÔ¹®¡¯Àº º¸Åë Ãʺ¸ÀÚµéÀÌ Ã³À½ ÀÔ¹®ÇÑ´Ù´Â Àǹ̿¡¼ ¾²´Â ¡®Ã³À½ ÃÊ(ôø)ÀÚÀÇ ¡®ÃÊÀÔ¹®(ôøìýÚ¦)¡¯ÀÌ ¾Æ´Ñ ¡®ÀÔ¹®À» ¶Ù¾î ³Ñ´Â´Ù¡¯´Â Àǹ̿¡¼ ¡®ÃÊ¿ùÇÒ ÃÊ(õ±)¡¯ ÀÚ¸¦ ½è´Ù. ÀúÀÚ´Â ÁøÈÇÏ´Â µö·¯´× ºÐ¾ßÀÇ ´ëÇ¥ÀûÀÎ ¿¹·Î RNN(Recurrent Neural Network, ¼øȯ ½Å°æ¸Á)°ú DQN(Deep Q-Network, ½ÉÃþ Q-³×Æ®¿öÅ©)¸¦ µé¸é¼ RNNÀº ÀÚ¿¬¾î ó¸® ºÐ¾ß¿¡¼ °¡Àå ÁÖ¸ñ¹Þ´Â ¾Ë°í¸®ÁòÀ̸ç DQNÀº °ÈÇнÀÀÇ ±â¹ýÀ¸·Î Á¤È®µµ°¡ ³î¶ó¿ï ¸¸Å ³ô¾ÆÁ³À½À» °Á¶ÇÑ´Ù. ÀÌ Ã¥Àº ´©±¸³ª »ç¿ëÇÏ´Â ¿¢¼¿·Î ÀΰøÁö´ÉÀ» ½Ç½ÀÇØ º¼ ¼ö ÀÖ°Ô ÇÔÀ¸·Î½á ÀΰøÁö´É ÀÀ¿ë ÀÔ¹®¼·Î RNN°ú DQNÀ» ¿¢¼¿(Excel)·Î ¾î·Á¿î ¼öÇÐÀ̳ª ÇÁ·Î±×·¡¹Ö Áö½Ä ¾øÀ̵µ µö·¯´×ÀÇ ±¸Á¶¿Í µ¿ÀÛ ¿ø¸®¸¦ ÀÌÇØÇÒ ¼ö ÀÖµµ·Ï ÇÑ È¹±âÀûÀÎ ÀÔ¹®¼ÀÌ´Ù. ¿¢¼¿·Î ³ÇØÇÑ RNN, DQNÀÇ ¡®ÃÖÀûÈ¡¯¿Í µ¿ÀÛ ¿ø¸®¸¦ ½±°Ô ÀÌÇØÇÒ ¼ö ÀÖ¾î AI ÇнÀÀÇ À庮À» ´Ü¼û¿¡ ³·ÃçÁÙ °ÍÀÌ´Ù.
µµÄì µµ¿¡¼ ž µµÄì±³À°´ëÇб³(ÇöÀçÀÇ ¾²Äí¹Ù ´ëÇб³) ÀÌÇкΠ¼öÇаú¸¦ Á¹¾÷ÇÑ µÚ Ä¡¹ÙÇö¸³°íµîÇб³¿¡¼ ÇлýµéÀ» °¡¸£ÃÆ´Ù. ÇöÀç´Â ¼öÇÐÀ̳ª °úÇÐ °ü·Ã ¼ÀûÀ» ÁýÇÊÇÏ´Â ÀÛ°¡·Î È°µ¿ ÁßÀÌ´Ù.
Çѱ¹¿¡ ¼Ò°³µÈ Ã¥À¸·Î´Â ¡º±×¸²À¸·Î ¼³¸íÇÏ´Â °³³ä ½ï½ï Åë°èÇС», ¡ººñÁÖ¾ó °í±³¼öÇдëÀü¡», ¡º½±°Ô ÀÌÇØÇÏ´Â Åë°èÇС», ¡º¹ýÄ¢, ¿ø¸®, °ø½ÄÀ» ½±°Ô Á¤¸®ÇÑ ¼öÇÐ »çÀü¡» µî Åë°è¿Í ¼öÇп¡ °üÇÑ ¼ÀûÀÌ ´Ù¼öÀ̸ç, ¡º°úÇÐ ÀâÇлçÀü¡» µî °úÇÐ °ü·Ã ¼Àûµµ ÀÖ´Ù.
¸Ó¸®¸»¿ªÀÚ ¼¹®ÀÌ Ã¥ÀÇ »ç¿ë ¹æ¹ý¿¢¼¿ »ùÇà ÆÄÀÏ ´Ù¿î·Îµå ¹æ¹ý1Àå RNN, DQNÀ» À§ÇÑ Áغñ¡× 01 RNN, DQNÀÇ Ã¹°ÉÀ½¢º ½Ã°è¿ µ¥ÀÌÅ͸¦ ´Ù·ç°Ô µÈ ¡®RNN¡¯.¢º ÇнÀÇÏ´Â ·Îº¿ÀÇ Áö´ÉÀ» Çö½Ç·Î ¸¸µç ¡®DQN¡¯..¢º ¿Ö, Áö±Ý AI°¡ ²ÉÀ» ÇÇ¿ü´Â°¡?¢º RNN, DQNÀ» ¿¢¼¿·Î üÇè ¡× 02 »ç¿ëÇÒ ¿¢¼¿ ÇÔ¼ö´Â 10°³ ³²Áþ¢º »ç¿ëÇÒ ÁÖ¿ä ¿¢¼¿ ÇÔ¼ö ¢º TANH ÇÔ¼ö ¢º OFFSET ÇÔ¼ö ¢º MATCH ÇÔ¼ö ¢º ¹è¿ ¼ö½Ä ¢º MMULT ÇÔ¼ö ¡× 03 ÃÖÀûÈ °è»êÀÌ ºÒÇÊ¿äÇÑ ¿¢¼¿ÀÇ ÇØ Ã£±â¢º ÇØ Ã£±â¸¦ »ç¿ëÇØ º¸ÀÚ ¢º ÇØ Ã£±â·Î ±¸ÇÑ ¡®ÃÖ¼Ú°ª¡¯Àº ±¹¼ÒÇØ¡× 04 µ¥ÀÌÅÍ ºÐ¼®¿¡´Â ÃÖÀûÈ°¡ Çʼö¢º ÃÖÀûÈ´Â µ¥ÀÌÅÍ ºÐ¼®¿¡ Çʼö ¢º ȸ±ÍºÐ¼®À̶õ? ¢º ±¸Ã¼ÀûÀÎ ¿¹·Î ȸ±ÍºÐ¼®ÀÇ ³í¸®¸¦ ÀÌÇØ ¢º ȸ±ÍºÐ¼®À» ÀÌÇØÇÏ¸é µ¥ÀÌÅÍ ºÐ¼®µµ ÀÌÇصŠ2Àå ¿¢¼¿·Î ¹è¿ì´Â ½Å°æ¸Á¡× 01 Ãâ¹ßÁ¡ÀÌ µÇ´Â ´º·± ¸ðµ¨¢º »ý¹°ÀÇ ´º·± ±¸Á¶ ¢º ´º·±ÀÇ ÀԷ ó¸® ¹æ¹ý ¢º ¹ßÈ ¢º ´º·±ÀÇ ¡®ÀÔÃâ·Â¡¯À» ¼ö½ÄÀ¸·Î Ç¥Çö ¢º ´º·±ÀÇ ¡®¹ßÈ¡¯¸¦ ¼ö½ÄÀ¸·Î Ç¥Çö ¡× 02 ½Å°æ¼¼Æ÷¸¦ ¸ðµ¨¸µÇÑ Àΰø ´º·±¢º ´º·±ÀÇ ¿òÁ÷ÀÓÀ» Á¤¸®ÇÏ¸é ¢º ¹ßÈ Á¶°ÇÀ» ÇÔ¼ö·Î Ç¥Çö ¢º Àΰø ´º·± ¢º ´º·±ÀÇ °£´ÜÇÑ ±×¸² ¢º ½Ã±×¸ðÀ̵å ÇÔ¼ö ¢º ½Ã±×¸ðÀÌµå ´º·± ¢º ½Ã±×¸ðÀÌµå ´º·±ÀÇ ÀϹÝÈ ¢º Àΰø ´º·±°ú È°¼ºÈ ÇÔ¼öÀÇ Á¤¸® ¢º ¿¢¼¿·Î ´º·±ÀÇ µ¿ÀÛ ÀçÇö ¢º ¡®ÀÔ·ÂÀÇ ¼±ÇüÇÕ¡¯ÀÇ ³»Àû Ç¥Çö .¡× 03 ½Å°æ¸ÁÀÇ »ç°í¹æ½Ä¢º ÀÔ·ÂÃþÀÇ ¿ªÇÒ ¢º Àº´ÐÃþÀÇ ¿ªÇÒ ¢º Ãâ·ÂÃþÀÇ ¿ªÇÒ ¢º ´º·± 1°³´Â Áö´ÉÀÌ ¾ø´Ù! ¢º Ư¡ ÃßÃâÀÇ ±¸Á¶ ¢º Ãâ·ÂÃþÀÇ ¡®ÆÇÁ¤¿ø¡¯Àº Á¤¸®ÇÏ´Â ¿ªÇÒ ¢º ±¸Á¶¸¦ Á¤¸®ÇÏ¸é ¢º ÀÓ°ì°ªÀÇ ¿ªÇÒÀº ºÒÇÊ¿äÇÑ Á¤º¸¸¦ Â÷´ÜÇÏ´Â °Í ¢º °¡ÁßÄ¡¿Í ÀÓ°ì°ªÀÇ °áÁ¤ ¹æ¹ý ¢º ½Å°æ¸ÁÀÇ ¾ÆÀ̵ð¾î Á¤¸® ¡× 04 ½Å°æ¸ÁÀ» ½ÄÀ¸·Î Ç¥Çö¢º º¯¼ö¸íÀ» Á¤ÇÏ´Â ±ÔÄ¢ ¢º ½Å°æ¸ÁÀ» ½ÄÀ¸·Î Ç¥Çö ¢º ½Å°æ¸Á Ãâ·ÂÀÇ ÀÇ¹Ì ¢º Á¤´äÀ» º¯¼öÈ ¢º Á¦°ö¿ÀÂ÷ÀÇ ½Ä Ç¥Çö ¢º ¸ðµ¨ÀÇ ÃÖÀûÈ ¢º ½Å°æ¸ÁÀÇ ¸ñÀû ÇÔ¼ö ¡× 05 ¿¢¼¿·Î ¹è¿ì´Â ½Å°æ¸Á ¢º ÈÆ·Ã µ¥ÀÌÅÍÀÇ Áغñ ¢º ½Å°æ¸ÁÀÇ »ç°í¹æ½Ä¿¡ µû¶ó ÇÔ¼ö ¼³Á¤ ¢º ¸ñÀû ÇÔ¼öÀÇ »êÃâ ¢º ½Å°æ¸ÁÀÇ ÃÖÀûÈ ¢º ÃÖÀûÈµÈ ÆĶó¹ÌÅÍ Çؼ® ¢º ½Å°æ¸ÁÀ» Å×½ºÆ®ÇÏÀÚ ¡× 06 º¸Æí¼º Á¤¸® ¢º °¡ÁßÄ¡¿Í ÀÓ°ì°ªÀ» ±¸ÇÏ´Â ¹æ¹ý 3Àå ¿¢¼¿·Î ¹è¿ì´Â RNN ¡× 01 RNNÀÇ »ç°í¹æ½Ä¢º ±¸Ã¼ÀûÀÎ ¿¹·Î »ý°¢ÇÑ´Ù ¢º Á¾·¡ÀÇ ½Å°æ¸Á¿¡ Àû¿ëÇغ¸¸é? ¢º ½Å°æ¸ÁÀÌ ±â¾ïÀ» °®°Ô ÇØÁÖ´Â RNN ¢º ¼øȯ ½Å°æ¸ÁÀ» ³ªÅ¸³»´Â ±×¸² ¢º ÄÁÅؽºÆ® ³ëµåÀÇ °è»ê ¢º ´Ù¸¥ ¿¹·Î È®ÀÎ ¢º ÆĶó¹ÌÅÍÀÇ °áÁ¤ ¹æ¹ýÀº ½Å°æ¸Á°ú µ¿ÀÏ ¡× 02 ¼øȯ ½Å°æ¸ÁÀ» ½ÄÀ¸·Î Ç¥Çö¢º ±¸Ã¼ÀûÀÎ °úÁ¦·Î »ý°¢ÇÑ´Ù .¢º ¼ö½ÄÈ Áغñ ¢º ´º·±ÀÇ ÀÔÃâ·ÂÀ» ¼ö½ÄÀ¸·Î Ç¥Çö ¢º ÈÆ·Ã µ¥ÀÌÅÍ Áغñ ¢º ±¸Ã¼ÀûÀÎ ½ÄÀ¸·Î ³ªÅ¸³»º»´Ù ¢º ÃÖÀûȸ¦ À§ÇÑ ¸ñÀû ÇÔ¼ö¸¦ ±¸ÇÑ´Ù ¢º ÃÖÀûÈ´Â ¸ñÀû ÇÔ¼öÀÇ ÃÖ¼ÒÈ ¡× 03 ¿¢¼¿·Î ¹è¿ì´Â ¼øȯ ½Å°æ¸Á¢º ±¸Ã¼ÀûÀÎ ¿¹·Î »ý°¢ÇÑ´Ù ¢º ¹®ÀÚ ÄÚµåÈ¿Í ´Ü¾îÀÇ ºÐÇØ ¢º ÆĶó¹ÌÅÍÀÇ Ãʱ갪 ¼³Á¤ ¢º ù ¹ø° ¹®ÀÚÀÇ °è»ê È®ÀÎ ¢º µÎ ¹ø° ¹®ÀÚÀÇ °è»ê È®ÀÎ ¢º °¡ÁßÄ¡¿¡ À½ÀÇ °ª Çã¿ë ¢º ´Ü¾î ¼ö¸¦ ´Ã·Á È®ÀÎ4Àå ¿¢¼¿·Î ¹è¿ì´Â QÇнÀ ¡× 01 QÇнÀÀÇ »ç°í¹æ½Ä¢º °ÈÇнÀ ¢º QÇнÀÀ» °³¹Ì¸¦ ÀÌ¿ëÇØ ÀÌÇØ ¢º Á» ´õ »ó¼¼È÷ ¾Ë¾Æº¸ÀÚ ¢º ¡®³¿»õ°¡ °ÇÑ ¹æÇâÀ¸·Î¡¯°¡ °³¹ÌÀÇ ±âº» Çൿ ¢º ¥å-greedy ¹ýÀ¸·Î °³¹ÌÀÇ ¸ðÇè½ÉÀ» Ç¥Çö ¢º Ãⱸ Á¤º¸ÀÇ °»½Å ¢º ÇнÀ·ü ¢º °³¹ÌÀÇ Çൿ ¿ä¾à ¡× 02 QÇнÀÀ» ½ÄÀ¸·Î Ç¥Çö¢º °³¹Ì¸¦ ÀÌ¿ëÇØ ¹è¿ì´Â QÇнÀ ¿ë¾î ¢º Q °ªÀº Ç¥ÀÇ À̹ÌÁö ¢º Q °ªÀÇ ÀÇ¹Ì ¢º Q °ªÀÇ Ç¥¿Í °³¹Ì¿ÍÀÇ ´ëÀÀ ¢º Q ÇнÀÀÇ ¼ö½Ä¿¡¼ ÀÌ¿ëµÇ´Â ±âÈ£ÀÇ ÀÇ¹Ì ¢º °³¹ÌÀÇ µ¿ÀÛÀ» ±âÈ£·Î Á¤¸®ÇÏ¸é ¢º ÇÒÀÎÀ² ¥ã, ÇнÀ·ü aÀÇ ÀÇ¹Ì ¢º ¼öÁ¤ ¥å-greedy¹ý ¢º ÇнÀÀÇ Á¾·á Á¶°Ç ¡× 03 ¿¢¼¿·Î ¹è¿ì´Â QÇнÀ¢º °úÁ¦ È®ÀÎ ¢º ¿öÅ©½ÃÆ® ÀÛ¼º»óÀÇ À¯ÀÇÁ¡ .¢º ¿öÅ©½ÃÆ®·Î QÇнÀ 5Àå ¿¢¼¿·Î ¹è¿ì´Â DQN¡× 01 DQNÀÇ »ç°í¹æ½Ä¢º DQNÀÇ ±¸Á¶ ¢º °³¹Ì¸¦ ÀÌ¿ëÇØ ¹è¿ì´Â DQN ¢º DQNÀÇ ÀÔÃâ·Â .¢º DQNÀÇ ¸ñÀû ÇÔ¼ö ¢º ÃÖÀûÈ µµ±¸·Î ÇØ Ã£±â ÀÌ¿ë ¡× 02 ¿¢¼¿·Î ¹è¿ì´Â DQN¢º °úÁ¦ È®ÀÎ ¢º ½Å°æ¸Á°ú È°¼ºÈ ÇÔ¼öÀÇ °¡Á¤ ¢º QÇнÀÀÇ °á°ú Á¤¸® ¢º ÀÔ·ÂÃþ µ¥ÀÌÅÍÀÇ ÄÚµåÈ ¢º °¡ÁßÄ¡¿Í ÀÓ°ì°ªÀÇ Ãʱ갪 ¼³Á¤ ¢º Àº´ÐÃþ¿¡ ´ëÇØ ¡®ÀÔ·ÂÀÇ ¼±ÇüÇÕ¡¯À» ±¸ÇÑ´Ù ¢º Àº´ÐÃþÀÇ Ãâ·ÂÀ» ±¸ÇÑ´Ù ¢º Ãâ·ÂÃþ¿¡ ´ëÇÑ ¡®ÀÔ·ÂÀÇ ¼±ÇüÇÕ¡¯À» ±¸ÇÑ´Ù ¢º ½Å°æ¸ÁÀÇ ¸ñÀû ÇÔ¼ö °è»ê ¢º DQNÀÇ ÃÖÀûÈ ¢º DQNÀÇ °á°ú È®ÀÎ ¢º ÀûÇÕµµ¸¦ ¿Ã¸®±â À§Çؼ´Â .ºÎ·Ï¡× A ÈƷõ¥ÀÌÅÍ¡× B ÇØ Ã£±âÀÇ ¼³Ä¡ ¹æ¹ý¡× C ¼øȯ ½Å°æ¸ÁÀ» ´Ù¼¸ ¹®ÀÚ¿¡ ÀÀ¿ëã¾Æº¸±â Index