本文汇总了常用的验证强化学习算法的开源环境平台。
当我们设计了一个强化学习算法之后,我们如何来验证算法的好坏呢?就像数据集一样,我们需要一个公认的平台来衡量这个算法。这样的一个平台,最基本的需要有仿真和渲染。
OpenAI Gym and Universe
业界最出名的莫过于Gym
和Universe
了。OpenAI Gym
用于评估和比较强化学习算法的好坏。它的接口支持在任何框架下的算法,像TensorFlow
, Theano
, Keras
这些都可以。
Gym
库收集、解决了很多环境的测试过程中的问题,能够很好地使得你的强化学习算法得到很好地Work
。并且含有游戏界面,能够帮助你去写通用性更强的算法。业界现在主流的就是这个环境,如果有还没有了解过的,需要配置的同学,可以参考我之前写的一篇详细的安装使用教程:强化学习环境-Gym安装到使用入门
在各大顶会上经常会看到用于连续控制物理引擎的MuJoCo
但这个收费的。
RoboSchool
作为MuJoCo
实现的替代品,OpenAI
开发了基于Bullet
物理引擎的Roboschool
。它提供了OpenAI Gym
形式的接口用于模拟机器人控制。目前包含了12个环境。其中除了传统的类似MuJoCo
的场景,还有交互控制,及多智能体控制场景。
Gym
中还有用于机械臂的抓取和灵巧手的机械手、机械臂环境Robotics
:
- GitHub链接:https://github.com/openai/gym
- 官网链接:http://gym.openai.com/
OpenAI Universe
相当于是OpenAI Gym
的一个扩展,它所能提供的环境更加的复杂,有即时战略游戏的味道,对决策时间有一定的要求。
Universe
的发布也算是业界福音,任何程序都可以被转换成一个Gym
的环境。Universe
通过自动启动程序在一个VNC
远程桌上进行工作,所以它不需要对程序内部、源码或者bot API
的特别访问。环境被打包Docker
镜像,安装使用将更加方便。
DeepMind Lab
DeepMind Lab
是一个第一人称3D
游戏平台,它以丰富的科幻视觉来呈现场景。可用的操作能让智能体环顾四周,并以3D
的形式移动。示例任务包括收集水果、走迷宫、穿越危险的通道且要避免从悬崖上坠落、使用发射台在平台间移动、玩激光笔、以及快速学习并记住随机生成的环境。DeepMind Lab
已经成为DeepMind
内部的一个主要研究平台,DeepMind Lab
同时拥有更丰富的视觉效果和更自然的物理效果。
Project Malmo
Malmo
由微软剑桥研究员Katja Hofmann
带领开发,是Microsoft
基于Minecraft
(我的世界)开发的一个人工智能实验和研究平台。这个平台也还用于第一届协同AI挑战赛。
Malmo
是用于多智能体强化学习算法的开源平台,要求智能体之间相互合作,将协同AI做到极致。并且研究人员还可以加速《我的世界》中的时钟,加快试验速度。
- GitHub链接:https://github.com/crowdAI/marLo
- 协同AI挑战赛官网:https://www.microsoft.com/en-...
ViZDoom
ViZDoom
提供了用AI玩毁灭战士游戏的环境(一人称射击类游戏)。它提供的是一个多智能体竞争博弈的一个环境,用于测试算法的好坏。
- GitHub链接:https://github.com/mwydmuch/V...
我的微信公众号名称:深度学习与先进智能决策
微信公众号ID:MultiAgent1024
公众号介绍:主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容,分享学习过程中的学习笔记和心得!期待您的关注,欢迎一起学习交流进步!