プロクラシスト

今日の寄り道 明日の近道

『これからの強化学習』という本が良さそう。遅れをとる日本のDQNを引っ張ってほしい。


スポンサーリンク

これからの強化学習

10/27発売予定の、強化学習に関する最新技術を書いた本

これからの強化学習

これからの強化学習

  • 作者: 牧野貴樹,澁谷長史,白川真一,浅田稔,麻生英樹,荒井幸代,飯間等,伊藤真,大倉和博,黒江康明,杉本徳和,坪井祐太,銅谷賢治,前田新一,松井藤五郎,南泰浩,宮崎和光,目黒豊美,森村哲郎,森本淳,保田俊行,吉本潤一郎
  • 出版社/メーカー: 森北出版
  • 発売日: 2016/10/27
  • メディア: 単行本(ソフトカバー)
  • この商品を含むブログ (2件) を見る

強化学習の「いま」を知り,「これから」を切り拓くための1冊. 本書では,この分野を代表する執筆陣が集い,強化学習の基礎・発展・応用を多面的に解説します.
・基礎:強化学習の動作原理と基本アルゴリズムを,初学者でも分かるように導入.
・発展:より複雑な問題に対処し,高度な研究に進むための,さまざまな発展的手法を解説.
・応用:マルチロボットシステムの制御,対話処理,医療データ分析,囲碁の対局など広範な応用例・研究事例を通して,強化学習の活用法を紹介.人間の行動や脳の動作を説明するモデルとしての理論・実験も解説.

目次

  • 第1章 強化学習の基礎的理論 強化学習とは/強化学習の構成要素/価値関数に基づくアルゴリズム/改善に基づくアルゴリズム/部分観測マルコフ決定過程と強化学習
  • 第2章 強化学習の発展的理論 統計学習の観点から見たTD学習/強化学習アルゴリズムの理論性能解析とベイズ統計による強化学習のモデル化/逆強化学習/試行錯誤回数の低減を指向した手法:経験強化型学習XoL/群強化学習法/リスク考慮型強化学習/複利型強化学習
  • 第3章 強化学習の工学応用 高次元・実環境における強化学習/連続的な状態・行動空間への拡張:マルチロボットシステムへの適用/対話処理における強化学習/マルチエージェント系の報酬設計/自然言語処理における逆強化学習・模倣学習の適用/医療臨床データ分析への応用/深層学習を用いたQ関数の学習:Atari囲碁への応用
  • 第4章 知能のモデルとしての強化学習

目次を見る限り、

  • 第1章はtraditionalな強化学習の理論的な説明になっていて、この分野に入るには必須の事項である方策改善定理マルコフ決定過程(MDP)などに触れるであろうことが予想される。

  • 第2章でも同じように理論的な導入部であり、見る限りこの2章を読めば強化学習を理解できそう。書きっぷりに期待したい。

  • 第3章は強化学習の応用例。話題の囲碁の話などにも触れるということだ。個人的にはマルチエージェント系の報酬設計には期待したいところ。迷路を素早く解く方法などエージェントを用いた学習をどのように行うかは非常に興味がある。

  • 第4章も面白そうであるが、これだけでは何を書くかまではわからない。あくまで予想だが、強化学習と人の学習の類似性などを脳科学的な観点から触れてくれるのではとき対している。

AlphaGOの衝撃(Deep Mind)に初めて触れる

AlphaGO以来、俄に注目され始めましたね。不可能だと言われた囲碁の学習を行い世界チャンピオンに勝利したのがDeep mind社。

Googleに買収されたあとも日々すごいペースで研究成果を上げています。世の中のReinforced Learningの覇権はここが握っているでしょう。 機械学習の最新論文を読みたいって人は↓のリンクから何か探すのが良いかも。

Publications | DeepMind

新刊では、3章でこの事あたりに触れるようになっている。おそらく、これは和書の中で初めてなのではないだろうか。

DQN以降を書いた、強化学習の和書はない!

私は英語が激ニガテなので、できれば教科書は日本語が良いのである。強化学習のバイブルといえばこの本

honto.jp

強化学習の生みの親であるRichard S, Suttonが書いたものである。強化学習の基礎的な部分(新刊でいう1章)がしっかりと書かれているため良書ではあるが、 いかんせん2000年発行の本のため、最新研究を読むには隔たりがある。

最近は、本よりもネットからの情報のほうが早い時代で、特に機械学習界隈はソースコードをオープンにしたりする人が多いこともあり、良質な記事が無料で読めたりする。
↓あたりは、強化学習を始めるにあたって便利な記事だと思う。

karpathy.github.io

qiita.com

しかし、じっくり理解するためなら、やはり本が良い。悩みながら学んで自分のものにしたいものである。

強化学習新時代へ向けて期待したい。

多分本買います。またレビューします。

最近爆発的に流行している強化学習。海外に遅れを取らないようないい本に仕上がっていることを期待します!!

関連記事

PROCRASIST