詳解　強化学習の発展と応用　ロボット制御・ゲーム開発のための実践的理論

【まえがき】※一部抜粋



本書では強化学習を実世界の問題に応用することを目指したい研究者（大学院生含め）や企業の技術者を主な対象にして，実応用向きの強化学習技術について紹介している．

これらは，過度に数理的な説明に踏み込みすぎずに概念的な理解を重視して説明するよう試みたつもりである．また，最近の強化学習論文では前提となっていて丁寧に紹介してもらえないテクニックや問題意識などについても適宜まとめているので，最新論文を読む下地としても有用であろう．

このように本書は，既存の強化学習ライブラリの利用方法をまとめたような入門書では満足できない，かと言って強化学習の詳細な数理に踏み込んで何故強化学習が上手く動くのかまで深く理解する段階ではない，いわば強化学習に入門を終えた強化学習ユーザー向けの構成となっている．

そのため，強化学習の基礎的な内容も本書には一応載せているが，比較的簡潔に留めたつもりである．また，本書を参考に新たな強化学習アルゴリズムの開発をすることも可能だと思うが，その際は必要に応じて他書や最新論文から理論的な補強をすると良いだろう．



本書は上記の対象を念頭に，まず1 章で強化学習の狙いや難しさを数理を一旦省いて言語的に紹介することで，大まかな思想を共有する．

その後に，その実現に必要とされる強化学習理論や最新技術の詳細を数理的に紹介していく．具体的には，2 章で強化学習の問題設定を数理的に改めるとともに，本書で必要となる幾つかの道具を紹介する．

3 章では，強化学習の最も基礎となる学習アルゴリズムと，近年の主流である深層強化学習で頻出の技術についてもまとめる．

4 章では，実世界への強化学習応用に向けた，行動として実数値を扱える強化学習手法の中の最新技術を，重要となる概念・技術とともに紹介する．

また5 章では，実世界でエージェントが効率良く学習するために有力な方法論であるモデルベース強化学習について，その基礎と応用法を分類分けしながらまとめる．

6 章では，実世界で強化学習を利用する際の恐らく最大の悩みの種となるであろう報酬の設計に関して，様々な対応策を簡潔に紹介する．最後に7 章では，筆者が今後特に期待している強化学習に関する話題を幾つか提供する．