深度强化学习中实验环境-开源平台框架汇总

  本文汇总了常用的验证强化学习算法的开源环境平台。

  当我们设计了一个强化学习算法之后,我们如何来验证算法的好坏呢?就像数据集一样,我们需要一个公认的平台来衡量这个算法。这样的一个平台,最基本的需要有仿真和渲染。

OpenAI Gym and Universe

  业界最出名的莫过于GymUniverse了。OpenAI Gym用于评估和比较强化学习算法的好坏。它的接口支持在任何框架下的算法,像TensorFlow, Theano, Keras这些都可以。

GitHub官网界面

  Gym库收集、解决了很多环境的测试过程中的问题,能够很好地使得你的强化学习算法得到很好地Work。并且含有游戏界面,能够帮助你去写通用性更强的算法。业界现在主流的就是这个环境,如果有还没有了解过的,需要配置的同学,可以参考我之前写的一篇详细的安装使用教程:强化学习环境-Gym安装到使用入门

  在各大顶会上经常会看到用于连续控制物理引擎的MuJoCo但这个收费的。

MuJoCo环境示意图

RoboSchool

  作为MuJoCo实现的替代品,OpenAI开发了基于Bullet物理引擎的Roboschool 。它提供了OpenAI Gym形式的接口用于模拟机器人控制。目前包含了12个环境。其中除了传统的类似MuJoCo的场景,还有交互控制,及多智能体控制场景。
Roboschool 官网界面

  Gym中还有用于机械臂的抓取和灵巧手的机械手、机械臂环境Robotics:

Robotics

  OpenAI Universe相当于是OpenAI Gym的一个扩展,它所能提供的环境更加的复杂,有即时战略游戏的味道,对决策时间有一定的要求。

Universe

  Universe的发布也算是业界福音,任何程序都可以被转换成一个Gym的环境。Universe 通过自动启动程序在一个VNC远程桌上进行工作,所以它不需要对程序内部、源码或者bot API 的特别访问。环境被打包Docker镜像,安装使用将更加方便。

DeepMind Lab

  DeepMind Lab是一个第一人称3D游戏平台,它以丰富的科幻视觉来呈现场景。可用的操作能让智能体环顾四周,并以3D的形式移动。示例任务包括收集水果、走迷宫、穿越危险的通道且要避免从悬崖上坠落、使用发射台在平台间移动、玩激光笔、以及快速学习并记住随机生成的环境。DeepMind Lab已经成为DeepMind内部的一个主要研究平台,DeepMind Lab同时拥有更丰富的视觉效果和更自然的物理效果。

https://github.com/deepmind/lab

Project Malmo

  Malmo由微软剑桥研究员Katja Hofmann带领开发,是Microsoft基于Minecraft(我的世界)开发的一个人工智能实验和研究平台。这个平台也还用于第一届协同AI挑战赛

协同AI挑战赛

  Malmo是用于多智能体强化学习算法的开源平台,要求智能体之间相互合作,将协同AI做到极致。并且研究人员还可以加速《我的世界》中的时钟,加快试验速度。

MalmÖ 简介

ViZDoom

  ViZDoom提供了用AI玩毁灭战士游戏的环境(一人称射击类游戏)。它提供的是一个多智能体竞争博弈的一个环境,用于测试算法的好坏。

ViZDoom GitHub界面示意图

我的微信公众号名称:深度学习与先进智能决策
微信公众号ID:MultiAgent1024
公众号介绍:主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容,分享学习过程中的学习笔记和心得!期待您的关注,欢迎一起学习交流进步!
推荐阅读
关注数
284
文章数
44
公众号:深度学习与先进智能决策
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息