強化学習の壁「ビッグ・ベビー問題」に挑む新ベンチマーク

1pt   2018-12-05 20:00
理系にゅーす

1: 2018/11/23(金) 15:54:12.33 ID:CAP_USER 強化学習は、いわゆる「ビッグ・ベビー問題」に直面している。

強化学習は、設定した目標を達成するために報酬と罰を用いる機械学習の手法の1つだ。だが、強化学習アルゴリズムの効果を測るためのベンチマーク・タスクとなっているアタリのビデオゲームやシミュレーション環境は自然界の複雑性を反映していない。

その結果、強化学習のアルゴリズムは現実世界の問題と向き合うことなく洗練されていき、決定論的で狭義に定義された環境の外で活動するにはあまりに脆弱になってしまう(「ビッグ・ベビー」と呼ばれる意味がお分かりいただけるだろうか)。

これでは、変化し続ける物理環境に適応できるロボットを最終的に開発するという強化学習の目的を達成できない。たとえば、水を注ぐようにロボットを訓練するのであれば、どんな流し台でも水を注げるようにしたいはずだ。だがビデオゲームで強化学習アルゴリズムのベンチマークをすることは、「1つの流し台で訓練、試験、評価をする」ようなものだと、マギル大学の博士課程生であり、フェイスブックのAI研究チームでパートタイム研究者を務めるエイミー・チャンはいう。

続きはソースで

https://cdn.technologyreview.jp/wp-content/uploads/sites/2/2018/11/21184504/animated-gif-source-3.gif

https://www.technologyreview.jp/nl/ai-cant-just-play-video-games-all-day-if-its-ever-going-to-grow-up/ f2cc59c5.jpg

引用元: 【IT】強化学習の壁「ビッグ・ベビー問題」に挑む新ベンチマーク[11/22]

c?ro=1&act=rss&output=no&id=6071374&name
   知恵アンテナトップページへ
の話題が沢山。