Geek专栏：利用 Roboschool 和Gym控制 Atlas 机器人

今天，我们特别邀请了
乐聚机器人王松博士为我们带来
"利用 Roboschool 和Gym控制 Atlas 机器人"

背景介绍

Atlas: Atlas机器人是一个双足人形机器人，由鼎鼎大名的美国波士顿动力公司为主开发，身高1.75米，体重82kg，它的出现将人形机器人的发展带到了更高的高度。目前可以完成行走、跑步和翻跟头等一系列复杂的动作。作为机器人当中的贵族，价格自然不菲 T_T (更何况还买不到...)。所以只能通过仿真软件在里面过下干瘾。

Roboschool: Roboschool是基于OpenAI Gym 强化学习仿真包的物理仿真引擎。由于MuJuCo不开源且收费，所以OpenAI 的大佬们将Roboschool作为MuJuCo的替代品。可以在一个场景当中训练多个Agent并且完成一挑战任务。

软件环境安装

• Roboschool①
• Gym②
  

示例代码
在2017年7月17号，Roboschool发布了Version 1.1版本，其中导入了Atlas机器人模型，相关新闻可见NEWS③。
在安装好Roboschool环境后，从RoboschoolAtlasForwardWalk_v1_2017jul.py④中找到控制 Atlas 前进走路的源码。

• RoboschoolAtlasForwardWalk_v1_2017jul.py④
  

仿真

Python 运行代码，由于在 Train 的时候，没有对机器人上肢运动进行约束和优化，只关注了下肢的移动，最终训练的结果有点辣眼睛，我们可以看到一段魔性嚣张的步伐。

https://v.qq.com/x/page/r0840q1mbir.html

• 摩擦摩擦，似魔鬼的步伐
• 鼠标左键：旋转镜头
• 鼠标右键：镜头平移
• 按键F1: 开/关 慢动作
• 按键F2: 隐藏/显示仿真步数和累积Rewards
• 按键F3: 隐藏/显示Action和Observation
  

在机器人强化学习之使用 OpenAI Gym 教程与笔记⑤中介绍过使用导入 Gym模型和查看Observation和Action的相关参数，对于 Atlas也同样适用：

输出

从env.action_space和env.observation_space可知Action维度为30，Observation维度为70。

• Action可以理解为机器人有30个自由度，可以通过PD控制器控制关节角度；
• Observation为当前环境的观测向量；
  

至于Atlas 机器人Action和Observation详细解释，在Roboschool的Wiki中没有相关说明, OpenAI的开发者建议用户靠猜的方式来确定，大佬就是大佬，懒得跟你解释 。。。

具体的土方法：

1. 修改Roboschool源码，将gym_atlas.py⑥重力Gravity修改为 0。
2. 按照排除法，控制变量Action，然后env.step(action），分别记下向量每个元素对应的自由度关节。

代码说明

Roboschool 开发者解释到由于强化学习训练 Atlas 走路的代码太杂乱了，所以暂时没有 Train 的代码，所以求人不如求己，后面得自己撸代码~ 总体思路是获得weight矩阵，即最佳Policy，输入当前观测向量Observation 获得下一步的Action向量来控制Atlas行走。

总结

1. Roboschool这个项目适合验证一些简单的强化学习任务，对于新引入的模型支持得还不太友好。
2. 基本上没有什么成体系的说明文档，所以需要靠多阅读Roboschool和Gym的Python源码来使用。
3. 如果有什么问题，欢迎评论留言交流~

文中标记网址：

①https://github.com/openai/roboschool
②https://github.com/openai/gym
③https://github.com/openai/roboschool#news
④https://github.com/openai/robosc ... dWalk_v1_2017jul.py
⑤https://zhuanlan.zhihu.com/p/40673328
⑥https://github.com/openai/robosc ... ol/gym_atlas.py#L21

Geek专栏：利用 Roboschool 和Gym控制 Atlas 机器人

今天，我们特别邀请了
乐聚机器人王松博士为我们带来
"利用 Roboschool 和Gym控制 Atlas 机器人"

背景介绍

Atlas: Atlas机器人是一个双足人形机器人，由鼎鼎大名的美国波士顿动力公司为主开发，身高1.75米，体重82kg，它的出现将人形机器人的发展带到了更高的高度。目前可以完成行走、跑步和翻跟头等一系列复杂的动作。作为机器人当中的贵族，价格自然不菲 T_T (更何况还买不到...)。所以只能通过仿真软件在里面过下干瘾。

Roboschool: Roboschool是基于OpenAI Gym 强化学习仿真包的物理仿真引擎。由于MuJuCo不开源且收费，所以OpenAI 的大佬们将Roboschool作为MuJuCo的替代品。可以在一个场景当中训练多个Agent并且完成一挑战任务。

软件环境安装

• Roboschool①
• Gym②
  

示例代码
在2017年7月17号，Roboschool发布了Version 1.1版本，其中导入了Atlas机器人模型，相关新闻可见NEWS③。
在安装好Roboschool环境后，从RoboschoolAtlasForwardWalk_v1_2017jul.py④中找到控制 Atlas 前进走路的源码。

• RoboschoolAtlasForwardWalk_v1_2017jul.py④
  

仿真

Python 运行代码，由于在 Train 的时候，没有对机器人上肢运动进行约束和优化，只关注了下肢的移动，最终训练的结果有点辣眼睛，我们可以看到一段魔性嚣张的步伐。

https://v.qq.com/x/page/r0840q1mbir.html

• 摩擦摩擦，似魔鬼的步伐
• 鼠标左键：旋转镜头
• 鼠标右键：镜头平移
• 按键F1: 开/关 慢动作
• 按键F2: 隐藏/显示仿真步数和累积Rewards
• 按键F3: 隐藏/显示Action和Observation
  

在机器人强化学习之使用 OpenAI Gym 教程与笔记⑤中介绍过使用导入 Gym模型和查看Observation和Action的相关参数，对于 Atlas也同样适用：

输出

从env.action_space和env.observation_space可知Action维度为30，Observation维度为70。

• Action可以理解为机器人有30个自由度，可以通过PD控制器控制关节角度；
• Observation为当前环境的观测向量；
  

至于Atlas 机器人Action和Observation详细解释，在Roboschool的Wiki中没有相关说明, OpenAI的开发者建议用户靠猜的方式来确定，大佬就是大佬，懒得跟你解释 。。。

具体的土方法：

1. 修改Roboschool源码，将gym_atlas.py⑥重力Gravity修改为 0。
2. 按照排除法，控制变量Action，然后env.step(action），分别记下向量每个元素对应的自由度关节。

代码说明

Roboschool 开发者解释到由于强化学习训练 Atlas 走路的代码太杂乱了，所以暂时没有 Train 的代码，所以求人不如求己，后面得自己撸代码~ 总体思路是获得weight矩阵，即最佳Policy，输入当前观测向量Observation 获得下一步的Action向量来控制Atlas行走。

总结

1. Roboschool这个项目适合验证一些简单的强化学习任务，对于新引入的模型支持得还不太友好。
2. 基本上没有什么成体系的说明文档，所以需要靠多阅读Roboschool和Gym的Python源码来使用。
3. 如果有什么问题，欢迎评论留言交流~

文中标记网址：

①https://github.com/openai/roboschool
②https://github.com/openai/gym
③https://github.com/openai/roboschool#news
④https://github.com/openai/robosc ... dWalk_v1_2017jul.py
⑤https://zhuanlan.zhihu.com/p/40673328
⑥https://github.com/openai/robosc ... ol/gym_atlas.py#L21