近日，中国科学院沈阳自动化研究所（以下简称沈自所）与英国爱丁堡机器人中心合作研究取得新进展，提出了一种在动态、非结构环境下基于深度强化学习的移动机械臂自主作业方法，将最新的人工智能（AI）学习理论应用于真实的复杂移动机械臂控制。相关研究成果已发表于《传感器》。

此项合作源于2018年3月，应依托于沈自所的机器人学国家重点实验室的邀请，英国皇家工程院院士、爱丁堡机器人中心主任David M. Lane访问沈自所，与机器人学国家重点实验室签署了战略合作框架（MoU）协议。

在MoU框架下，双方积极开展人员互访、学术交流及研究生联合培养，并在多个研究领域开展合作，包括基于深度强化学习的机器人控制、基于视觉的水下三维场景重建与目标识别、水下机器人自主作业等。

沈自所水下机器人研究室研究员张奇峰告诉《中国科学报》：“机器人在空间、陆地和水下等大量动态、非结构环境下作业是一个复杂的任务，相比于传统工业机器人作业要求更高，通常需要机器人具有感知、导航、决策、操作等多种功能。”

据悉，非结构环境下移动机械臂自主作业是未来机器人应用的一个重要场景。该项研究可以扩展到空间机器人、飞行机器人和水下机器人作业等多种复杂环境。

“水下机器人自主作业面临许多难点，相比于陆地机器人，浮游状态水下机器人系统动力学非线性、耦合性强，作业过程中机器人载体与机械手的相互运动干扰及由此产生的目标物定位信息噪声使机器人的精确控制尤为困难。”张奇峰介绍，这也是双方目前重点开展研究的方向之一。

此次沈自所与爱丁堡机器人中心科研团队利用神经网络构建了一种机器人整体强化学习控制模型，采用深度学习方法对机器人相机获得的环境与目标信息进行处理，然后将感知信息与机器人当前状态作为系统输入，对机器人的整体行为进行自主控制。

其中，爱丁堡机器人中心提供机器人平台和基于深度强化学习的算法框架指导，沈自所面向机器人平台特点进一步深入进行理论研究，并将控制算法应用于机器人，开展试验验证。

沈自所博士研究生王聪说：“我们通过仿真与实际环境中的交互学习与训练，最终实现了在真实环境下的移动机械臂自主作业，为深度强化学习应用于更为复杂的水下浮游基座机器人系统开展自主作业研究奠定了基础。”

目前机器人的技能学习是业界的研究热点和难点之一，水下机器人领域的相关研究更少。张奇峰表示，沈自所在水下机器人的平台设计、底层控制及实际应用等方面有非常丰富的经验与优势，但随着应用场景和作业任务的复杂化，需要进一步加强前沿理论研究及前沿理论与机器人系统相结合的应用研究。（沈春蕾）

相关论文信息：

https://doi.org/10.3390/s20030939

《中国科学报》 (2020-04-02 第3版 信息技术)