プロクラシスト

みんなのProcrastination(先延ばし、回り道)を少しでも有意義に。

MENU

【強化学習】強化学習系のプラットフォームが続々登場!

こんにちは!ほけきよです

機械学習界隈は、NIPSが開催中で、今、アツいですね。

nips.cc

開催初日に、強化学習系の中心とも言える組織2つから、強化学習系のプラットフォームが発表されました。

強化学習(したい)勢の私としてはいきなりのBIG NEWS.

というわけで、何が発表されたのか、順番に紹介していきます!!

OpenAI Universe

f:id:imslotter:20161206233510p:plain

OpenAIとは

f:id:imslotter:20161206233428j:plain

イーロン・マスクが代表を務める、非営利の組織

目標はデジタルインテリジェンスの高度化をできるかぎり人類全体の利益に資する形で推進すること。それが、経済的(financial)な利益目的に制約されないことだ。

すでに、強化学習技術を用いてタスクを解かせるOpenAI gymというプラットフォームを作っています。 こちらは強化学習版のkaggleだと思っていただければいいです。

gym.openai.com

Universe

こちらが今回発表された新しいプラットフォーム

universe.openai.com

githubはこちら

github.com

ざっくり特徴をあげると

  • 強化学習で作るエージェントに対し様々なタスクを与えるプラットフォーム
  • tensorflowやtheanoなどをそのまま利用可能
  • openAI gymを使っていた人の環境移行は容易になっている

とのこと。

f:id:imslotter:20161206233120p:plain

こんな感じで学習用のゲームが非常に沢山用意されている

詳しい紹介記事はGIGAZINEさんの記事が良いかもしれません。

gigazine.net

DeepMind : DeepMind lab

f:id:imslotter:20161206233642j:plain

DeepMindとは

f:id:imslotter:20161206233547p:plain

現在はalphabet(Google)傘下であるが、もともとはロンドンのスタートアップ。 強化学習(DQN)関連にめっぽう強く、企業でありながら論文を多数出版。現在の強化学習界隈をリードしている存在です。

彼らの作ったAlphaGoは今年、機械が囲碁で人間に勝ったということで、機械学習を専門とする以外の人々にも届くほど、有名になりました。

DeepMind labとは

ブログを読むと、

The development of innovative agents goes hand in hand with the careful design and implementation of rationally selected, flexible and well-maintained environments. To that end, we at DeepMind have invested considerable effort toward building rich simulated environments to serve as “laboratories” for AI research. Now we are open-sourcing our flagship platform, DeepMind Lab, so the broader research community can make use of it.

とのこと。つまり、「環境は作ったから研究室のようにここにこもって学習させてね」とのこと。

deepmind.com

githubリポジトリはこちら

github.com

  • 強化学習で作るエージェントに対し3D環境のゲームを与えるプラットフォーム
  • 視点は一人称
  • 移動とジャンプによって報酬を得ていくような枠組み

実際のゲーム画面はこんな感じ

www.youtube.com

一人称視点での学習は、ロボットの制御など、いろいろな場面で転用できそうですね。

まとめ

  • 多くのゲームを強化学習に適用したい・いろいろな人と競争したいならuniverse
  • 実世界の利用を考えて一人称視点の3D環境に対して強化学習を使いたいならdeepmind lab

かなといったイメージです。

今後触ってみて、実際の感想が変わるかもしれませんが、パット見の印象です。

何にせよ、作るのが面倒&難しい実行環境をこのように提供してくれるのはうれしいですね。 強化学習勢としては、これを使わない手はないのではないでしょうか!

どのような使い勝手かのレビューも今後したいと思います。

今回はプラットフォームを作った会社とそのプラットフォームについてでした!ではでは

強化学習に興味を持った方に。関連記事・書籍

関連記事

関連書籍

強化学習

強化学習

  • 作者: Richard S.Sutton,Andrew G.Barto,三上貞芳,皆川雅章
  • 出版社/メーカー: 森北出版
  • 発売日: 2000/12/01
  • メディア: 単行本(ソフトカバー)
  • 購入: 5人 クリック: 76回
  • この商品を含むブログ (29件) を見る

これからの強化学習

これからの強化学習

  • 作者: 牧野貴樹,澁谷長史,白川真一,浅田稔,麻生英樹,荒井幸代,飯間等,伊藤真,大倉和博,黒江康明,杉本徳和,坪井祐太,銅谷賢治,前田新一,松井藤五郎,南泰浩,宮崎和光,目黒豊美,森村哲郎,森本淳,保田俊行,吉本潤一郎
  • 出版社/メーカー: 森北出版
  • 発売日: 2016/10/27
  • メディア: 単行本(ソフトカバー)
  • この商品を含むブログ (2件) を見る