深度强化学习入门到精通-2020最全资料综述

本文对强化学习的相关资料从视频，书籍，PPT等做了非常全面的整理，必须关注。
报道：深度强化学习实验室
作者：岳龙飞
编辑：DeepRL

人工智能是21世纪最激动人心的技术之一。人工智能，就是像人一样的智能，而人的智能包括感知、决策和认知(从直觉到推理、规划、意识等)。其中，感知解决what，深度学习已经超越人类水平；决策解决how，强化学习在游戏和机器人等领域取得了一定效果；认知解决why，知识图谱、因果推理和持续学习等正在研究。强化学习，采用反馈学习的方式解决序贯决策问题，因此必然是通往通用人工智能的终极钥匙。我特别喜欢强化学习，深深被其框架所吸引，智能体通过与环境交互来成长，这不就是生命的进化规律嘛！个人作为一名AI独立研究员，一路也是通过知乎、b站、GitHub、公众号和各类博客学习过来，非常感谢网络时代大家的分享，同时将自己在强化学习方面的经验总结整理分享，既是方便自己学习，也希望能帮助一点刷到这条知乎的朋友们。当然，强化学习也面临很多问题，希望我们一起解决，让强化学习变得更好！[1]

1. 视频（从入门到放弃）

1.1 腾讯_周沫凡_强化学习、教程、代码

• https://www.bilibili.com/video/av16921335
• https://morvanzhou.github.io/
• https://github.com/AndyYue1893/Reinforcement-learning-with-tensorflow

1.2 DeepMind_David Silver_UCL深度强化学习课程(2015)、PPT、笔记及代码

https://www.bilibili.com/video/av45357759
https://blog.csdn.net/u_say2what/article/details/89216190
https://zhuanlan.zhihu.com/p/37690204

1.3 台大_李宏毅_深度强化学习(国语)课程(2018)、PPT、笔记

• https://www.bilibili.com/video/av24724071
• http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html
• https://blog.csdn.net/cindy_1102/article/details/87904928

1.4 UC Berkeley_Sergey Levine_CS285(294)深度强化学习(2019)、PPT、代码

• https://www.bilibili.com/video/av69455099
• http://rail.eecs.berkeley.edu/deeprlcourse/
• https://github.com/berkeleydeeprlcourse/homework

2. 书籍

2.1 强化学习圣经_Rich Sutton_中文书、英文电子书、代码 ★★★★★(基础必读，有助于理解强化学习精髓)

• https://item.jd.com/12696004.html
• http://incompleteideas.net/book/the-book-2nd.html
• https://github.com/AndyYue1893/reinforcement-learning-an-introduction

2.2 Python强化学习实战_Sudharsan Ravichandiran、代码 ★★★★★（上手快，代码清晰）

• https://item.jd.com/12506442.html
• https://github.com/AndyYue1893/Hands-On-Reinforcement-Learning-With-Python

2.3 强化学习精要_冯超 ★★★★(从基础到前沿，附代码)

• https://item.jd.com/12344157.html

2.4 Reinforcement Learning With Open AI TensorFlow and Keras Using Python_OpenAI(注重实战)

• https://pan.baidu.com/share/init?surl=nQpNbhkI-3WucSD0Mk7Qcg(提取码: av5p)

3. 教程

3.1 OpenAI Spinning Up英文版、中文版、介绍by量子位（在线学习平台，包括原理、算法、论文、代码）

• https://spinningup.openai.com/en/latest/
• https://spinningup.readthedocs.io/zh_CN/latest/index.html
• https://zhuanlan.zhihu.com/p/49087870

3.2 莫烦Python( 通俗易懂)

• https://morvanzhou.github.io/

4. PPT

4.1 Reinforcement learning_Nando de Freitas_DeepMind_2019

• https://pan.baidu.com/s/1KF10W9GifZCDf9T4FY2H9Q

4.2 Policy Optimization_Pieter Abbeel_OpenAI/UC Berkeley/Gradescope

• https://pan.baidu.com/s/1zOOZjvTAL_FRVTHHapriRw&shfl=sharepset

5. 算法

请问DeepMind和OpenAI身后的两大RL流派有什么具体的区别？ 三大经典算法

5.1 DQN

• Mnih. Volodymyr, et al. "Human-level control through deep reinforcement learning." Nature 518.7540 (2015): 529. (Nature版本)

5.2 DDPG

• David. Silver, et al. "Deterministic policy gradient algorithms." ICML. 2014.

5.3 A3C

• Mnih. Volodymyr, et al. "Asynchronous methods for deep reinforcement learning." International conference on machine learning. 2016.

6. 环境

6.1 OpenAI Gym

• http://gym.openai.com/

6.2 Google Dopamine 2.0

• https://github.com/google/dopamine

6.3 Emo Todorov Mujoco

• http://www.mujoco.org/

6.4 通用格子世界环境类

• https://zhuanlan.zhihu.com/p/28109312
• https://cs.stanford.edu/people/karpathy/reinforcejs/index.html

7. 框架

7.1 OpenAI Baselines(代码简洁，使用广泛)

• https://github.com/openai/baselines

7.2 百度 PARL( 扩展性强，可复现性好，友好)

• https://github.com/paddlepaddle/parl

7.3 DeepMind OpenSpiel（仅支持Debian和Ubuntu,28种棋牌类游戏和24种算法）

• https://github.com/deepmind/open_spiel

8. 论文

8.1 清华张楚珩博士 ★★★★★[2]

• 张楚珩：强化学习论文汇总

8.2 NeuronDance ★★★★

• https://github.com/AndyYue1893/DeepRL-1/tree/master/A-Guide-Resource-For-DeepRL

8.3 paperswithcode ★★★★

• https://www.paperswithcode.com/area/playing-games
• https://github.com/AndyYue1893/pwc

8.4 Spinning Up推荐论文 ★★★★★

• https://zhuanlan.zhihu.com/p/50343077

9. 会议&期刊

9.1 会议：AAAI、NIPS、ICML、ICLR、IJCAI、 AAMAS、IROS等

9.2 期刊：AI、 JMLR、JAIR、 Machine Learning、JAAMAS等

9.3 计算机和人工智能会议（期刊）排名

• https://www.ccf.org.cn/xspj/rgzn/
• https://mp.weixin.qq.com/s/DnYV_WAX3e5EeFdn_3A3FA

10. 公众号

10.1 深度强化学习实验室 ★★★★★

10.2 机器之心 ★★★★★

10.3 AI科技评论 ★★★★

10.4 新智元 ★★★

11.知乎

11.1 用户

• 许铁-巡洋舰科技（微信公众号同名）、Flood Sung（GitHub同名）
• 田渊栋、周博磊、俞扬、张楚珩、天津包子馅儿、JQWang2048 及其互相关注大牛等

11.2 专栏

• David Silver强化学习公开课中文讲解及实践（叶强，很经典）
• 强化学习知识大讲堂（《深入浅出强化学习：原理入门》作者天津包子馅儿）
• 智能单元（杜克、Floodsung、wxam，聚焦通用人工智能，Flood Sung：深度学习论文阅读路线图 Deep Learning Papers Reading Roadmap很棒）
• 深度强化学习落地方法论（西交 大牛，实操经验丰富）
• 深度强化学习（知乎：JQWang2048，GitHub：NeuronDance，CSDN：J. Q. Wang）
• 神经网络与强化学习（《Reinforcement Learning: An Introduction》读书笔记）
• 强化学习基础David Silver笔记（陈雄辉，南大，DiDi AI Labs）

12. 博客

12.1 草帽BOY

• https://blog.csdn.net/u013236946/category_6965927.html

12.2 J. Q. Wang

• https://blog.csdn.net/gsww404

12.3 Keavnn

• https://stepneverstop.github.io/

12.4 大卜口

• http://blog.otoro.net/

13. 官网

13.1 OpenAI

• https://www.openai.com/

13.2 DeepMind

• https://www.deepmind.com/

13.3 Berkeley

• https://bair.berkeley.edu/blog/?refresh=1

作者简介：
岳博士，西交大博士研究生，研究多智能体协同控制领域。知乎：https://www.zhihu.com/people/du-li-ren-ge-41

更多资料查看Github
https://github.com/neurondance/deeprl

推荐阅读

AAAI-2020 || 52篇深度强化学习accept论文汇总

专注深度强化学习前沿技术干货，论文，框架，学习路线等，欢迎关注微信公众号。