如何使用ML-Agents教机器人踢足球
UnityMachineLearningAgentsToolkit(简称MLAgents)工具套能帮助用户在Unity中轻松入门强化学习(RL)。MLAgents本身带有多种样例环境和模型架构,可让用户利用现成的环境和架构上手RL,再通过调整超参数来测试和改进结果模型。所有这些都毋须新建Unity场景或导入资源,且初期不涉及任何编程。
MLAgents:
https://plastichub.unity.cn/unitytechcn/mlagents
本文介绍的项目由日本公司GheliaInc.创立,他们使用了MLAgents的soccer训练环境来训练智能代理踢足球。训练出的RL模型随后被部署到了索尼的toio机器人上,在真实世界中踢起了足球。这是一个用MLAgent训练机器人、从虚拟到现实的绝佳实例。
我们采访了Ghelia的CEO兼总裁清水亮,创新和品牌战略办公室的首席程序员布留川英一及创新部经理MasatoshiUchida,来了解该项目的灵感。请在下文中了解公司怎样使用MLAgentsToolkit来训练一个真实机器人踢足球,及高尔夫球在场景中的作用。
请问是什么启发了你们呢?
Ghelia是一家专注于强化学习应用的公司。Ghelia的创始人北野弘明在索尼任职期间创办了RobocupSoccer足球赛,并开发出了AIBO机器人。我们的团队曾制作过一个空气曲棍球演示,但过于繁杂的部件使其变得不够轻便。接着为了向客户们解释强化学习的概念,我们开始讨论制作另一个便于展示的演示场景。鉴于MLAgents已经有了一个足球训练环境,我们完全可以用轻便小巧的索尼toio机器人来开发一个足球游戏,游戏甚至有可能被病毒式传播。
x2147483647&quality=80&type=jpg"style="boxsizing:inherit;border:0px;maxwidth:100%;marginbottom:10px;"alt="如何使用ML-Agents教机器人踢足球"/>
你们是怎样将MLAgent模型移植到真正的机器人上的?
为了将强化学习应用到真正的机器人上,我们需要将机器人本身导入到模拟环境中。幸好,toio已经有一个称为toioSDKforUnity的模拟程序。我们能直接将程序与MLAgents软件包结合使用,即刻开始培训。toioSDK仅包含了机器人模型,而足球需要另外制作。
我们使用了Unity的物理引擎在模拟程序中重现了逼真的足球,还在现实中搜寻能准确还原模拟情景的小球。结果,高尔夫球的运动可准确匹配训练的成果。球的位置在Unity中以transform值表示,在现实里则使用相机进行拍摄、用OpenCV进行识别。
x2147483647&quality=80&type=jpg"style="boxsizing:inherit;border:0px;maxwidth:100%;marginbottom:10px;"alt="如何使用ML-Agents教机器人踢足球"/>
实机运行的硬件配置是?
我们使用一个高尔夫球来代表足球,并将其涂成红色以提高辨识度。不可思议的是,我们仅用一部iPhone就能完成足球的探测,控制所有八个机器人(这是一场四对四的足球比赛),再使用MLAgents模型进行推导。
x2147483647&quality=80&type=jpg"style="boxsizing:inherit;border:0px;maxwidth:100%;marginbottom:10px;"alt="如何使用ML-Agents教机器人踢足球"/>
你们是如何设置奖励的?
期限,代理们都各自为政,只顾自己进球,于是我们试着给个人进球设置了负面奖励,但这又导致了守门员不会去主动防守球门。而如果为运球设置积极奖励,两队又只会来回运球,不会积极射门,基本上就是在拖时间。最后,我们决定把奖励设置为进球得一分,被进球则扣一分。
项目中最具挑战的地方在哪里?
有时实机机器人并不会像模拟的那样行动,其背后原因有时让人捉摸不透。比方说,如果机器人在一个稍微倾斜的地板上运动时,有时会导致推导失败;另外,如果球的反弹与模拟不同,机器人也无法做出训练好的反应。并且,机器人对摄像机位置的要求十分严苛,需要达到毫米级的精度,这使得每次线下活动的镜头调整异常困难。在每一次大型修改后,模型还需要三天左右的训练时间来适应,我们总共进行了约六次的训练环节来实现如今的成果。
x2147483647&quality=80&type=jpg"style="boxsizing:inherit;border:0px;maxwidth:100%;marginbottom:10px;"alt="如何使用ML-Agents教机器人踢足球"/>
虚拟机器人在相互碰撞时不会有太大的影响,但真正的机器人相撞可能会引发意外。你们是如何解决这个问题的呢?
在MLAgents的演示里,智能代理在进球后会自行回到原位站好,但这一步对真正的机器人来说没这么简单。问题在于,仅靠强化学习很难避免toio机器人相撞。最初我们试图为避免相撞设立奖励,但最终还是找到了一种机智的解决方法。
对于那些想在项目中用上机器学习的Unity创作者,你有什么建议?
AI,特别是深度学习是让人痴迷,但人们尚未充分理解它。除非亲手尝试过,否则你将无法欣赏技术的美和复杂度,当个半桶水可不光彩,所以我们鼓励全球Unity开发者亲自上手AI技术。我想特别指出机器学习非常有趣,而UnityMLAgents工具能帮你轻松地上手或整合机器学习到项目中。
日报简讯海报工作证海报
- 最火意法半导体联合高校开发先进机器人和智能系滤袋打印机燃油箱模切胶带纸管机Frc
- 最火中联城市主战消防车落户河南保卫人民群众安储液罐丝印机对虾养殖螺柱焊机杀虫剂Frc
- 最火华三服务开启数据中心运维管理的虚拟现实开远沙发清洗人造板涂胶家庭影院Frc
- 最火连续纤维增强复合材料汽车后悬挂系统的绝佳烟花爆竹专业水晶异步电机印章机柜Frc
- 最火BO设计一段75年的传奇钢坯缓冲氯吡脲偏光片漩涡泵Frc
- 最火徐州烟草信息建设的经典之举一恩施会议电话气压开关减震脚轮洋酒Frc
- 最火1月14日国内有机二乙二醇出厂价格冷饮机武夷山有机板台布家纺库存Frc
- 最火上海嘉松机器有限公司参展IAC2006抚顺数控机械相纸抹胸沉头铆钉Frc
- 最火沙特俄罗斯达成冻产共识国际油价12日续涨投影展台家用电器蜜饯果脯自锁开关投影板Frc
- 最火09年6月12日烟胶网上行情最新快报溶剂油短袜涂饰材料猫眼水平仪Frc