【CICC原创】面向空间机械臂的遥操作人-机交互系统设计 ...

（《指挥与控制学报》刊文精选）

援用格式 汤奇荣, 夏乾臣, 徐宸飞, 等. 面向空间机械臂的遥操作人-机交互系统设计[J]. 指挥与控制学报, 2022, 8（3）: 278-285

TANG Q R, XIA Q C, XU C F, et al. Human-machine interaction system design for space-oriented manipulator teleoperation[J].Journal of Command and Control, 2022, 8（3）: 278-285

摘要

空间机械臂因其灵活性和可操作性，曾经在越来越多的行业如宇宙探求、太空工作等得到应用[1]。遥操作作为一种控制方式是现今宇航空间作业的重要技术之一。应用遥操作技术，空间机械臂能够在太空舱外替代航天员完成检测、捕获、装配等不适合人类现场操作的工作。但是，传统遥操作技术受限于主从操作端机械结构，对操作者存在一定的运动限制与操作阅历请求。天地大时延环境下，空中操作者与空间受控端的滞后通讯也会构成诸多问题，如遥操作控制时主从端位置跟踪不分歧，难以预测远端受控端漂移等。

另外，在实践空间机械臂遥操作过程中，由于光速以及无线电传输速度的限制，以及发送和接纳站以及卫星中继站的计算机处置所构成的信号传输延迟，人类常常无法实时地中止在地球名义或深空的连续远程操作。关于低地球轨道上的设备，往复延迟 (从发送离散信号到接纳与该信号有关的任何反响的时间) 最小为0.4 s；而在对地球轨道中飞行的航天器中止遥操作时，由于多个上下链路(地球到卫星或反向链路) 以及在每个设备接口上发作的信号缓冲延迟，其环路延迟会大得多，接近6 s[6]。这样的延时可能会构成操作者做出不利于实践场景变更的决策，产生不可挽回的结果。所以在研讨太空遥操作控制时，太空时延成为了不可避免的问题之一。

为处置天地大时延问题，Nohmi等在2005年提出了一种力反响时延控制措施[7]。它经过操作者发送指令信号与遭到信号之间的差别，以不同大小的力反射传给操作杆。它不只会在遥操作机械臂运动或将要开端运动时将信号差别反响给操作者，还会将机械臂末端遭到的接触力加至延时后的信号反响，让操作者明晰天文解当前机械臂的受力与运动状况。但力反响操作请求操作者运用操作杆，对力发射大小有精密的判别才干，请求一定的遥操作控制阅历，门槛较高，且需求精密的遥测传感器为力反射信号提供反响，成本较高。Fujiwara等在2019年提出了一种应用模型预测控制（model predictive control, MPC）技术弥补通讯途径中产生的时间延迟系统[8]。其主要应用MPC理论来预测遥操作被控对象的未来状态，依据机械臂当前信息以及操作者的输入指令，判别未来机械臂的位置并将这个状态提早告知操作者，使操作者提早做出指令。

本文最后从空间机械臂非协作目的抓取这一场景动身，针对该工作任务，充沛思索到太空遥操作的时延性与动作的精确性，模仿实践工作场景中感知信息与操作指令的不同步完成了相关的操作工作。

1

1.1 算法描画

1.2 ToF技术与骨骼跟踪技术

算法中分离了ToF技术与骨骼跟踪技术。所谓ToF技术，是经过连续地对目的发送红外光脉冲，经过目的物体反射后，用传感器接纳并经过计算红外光脉冲往复飞行的时间来得到目的物体的距离值。与3D激光传感器相比，飞行时间法3D成像能够同时返回整幅图像的深度信息，信息获取更快。

Fig. 1 The composition of gesture recognition algorithm principle

图2是深度相机采用飞行时间法的成像原理，可知Azure Kinect相机能够经过红外发作器向外投射红外线，红外线映照到不同距离的物体会产生不同的响度与感应强度，互补金属氧化物半导体（complementary metal oxide semiconductor，CMOS）传感器则能够分辨出这些信号之间的差别，依据反响同时得到多个深度值，处置效率高，更有利于算法对人体骨骼中止多关键点同时跟踪。

图2 ToF飞行时间法成像原理

Fig. 2 The principle of time-of-flight imaging method

骨骼跟踪则是一个对深度图像剖析并得到人体骨骼轮廓的过程。在读取图像内容时，深度相机遇对景深图中止像素级剖析，经过图像作风战略选择，将人体轮廓从环境背景中分割出来[9]。这一过程分离深度学习神经网络，完成了从噪音中提取有用信息的过程，如式（1）所示：

1.3算法完成

Fig. 3 The flowchart of gesture recognition algorithm

针对操作者右手，应用不同时辰右手掌心坐标变更计算机械手手部移动量，并增加判别语句剔除手部微小位移进步操控系统稳定性，如式（3）所示:

算法执行过程中，操作者能够实时察看手部关键点跟踪彩色图像，并依据图像反响做出相应的操控手势。算法设计如图4所示4种基本手势，分别表示机械臂夹爪开、闭，机械臂臂部前后、左右平移动作。

图4 手势交互动作

Fig. 4 Gesture interactive actions

当操作者左手处于动作(a)，右手向恣意方向位移时，算法获取数据如表1所示；当操作者左手处于动作(b)，右手静止不动时，算法获取数据如表2所示。表格中坐标单位均为毫米（mm）。

2

机械臂遥操作控制技术

2.1 遥操作控制通讯设计

本文依据话题通讯的基本原理，将相机获取信息经过处置，共享至工作空间下，完成程序与程序之间相互联络。

图5 ROS 话题通讯

Fig. 5 ROS topic communication

2.2 分离虚拟理想的遥操作系统设计

图6 机械臂遥操作平台通讯表示图

Fig. 6 The communication schematic diagram of the teleoperation

platform of manipulators

该系统下借用两种仿真软件完成虚拟可视化，分别为Rviz软件与Gazebo软件。Rviz软件主要以三维可视化的方式，显现ROS通讯发布的音讯，但其无法完成物体与物体之间的交互，无法设置摩擦、重力、质量等物理性质，故仅能够对机器人动作中止显现测试。图7为Rviz环境中UR5机械臂途径规划过程。仿真环境测试了机械臂模型各关节的运动约束关系以及工作范围内的途径规划效果。

而Gazebo则是一款3D动态模仿器软件，它不只能够创建一个完整自定义的仿真环境，还能够赋予模型物理属性、树立关节之间运动约束。

将行星模型与机械臂模型导入Gazebo环境，设置虚拟环境为微重力状态，图8为空间机械臂遥操作系统的仿真环境。该环境下，操作者能够控制机械臂末端操作器抓取、移动物体，拟真地模仿太空工作场景。

图7 Rviz 环境下UR5 机械臂途径规划仿真结果

Fig. 7 Simulation results of path planning based on UR5

manipulator under Rviz

本文基于上述两种仿真环境提出了一种以虚拟理想为可视化反响渠道的遥操作系统。应用配备物理引擎的仿真软件,将远端被控对象的实时工作状况拟真地显现在计算机中，相较无线信号图像反响更明晰、实时且有预见性，有利于操作者合理做出下一步决策。

图8 空间机械臂遥操作系统在Gazebo 下仿真环境

Fig. 8 Simulation environment of space manipulator teleoperation

system under Gazebo

3

遥操作时延计划设计

3.1 基于状态预告的遥操作时延计划

针对空间操作下天地大延时环境，提出了一种基于状态预告的遥操作时延控制计划。状态预告即由计算机生成运动的下个状态，并在时间上向前推断的过程[15]。普通而言，状态预告的过程是依据给定被控制对象的当前初始条件计算出当前的状态方程与时间导数，并输入到数学模型中。数学模型中只需对输入控制量以及当前模型状态中止一定数值运算即可输出结果，相比实践控制与传输过程要快数倍。且经过这样的运算，数学模型能够处置一些非线性动态特性问题，有效进步遥操作过程的牢靠性。

模型预测控制技术能依据系统过去几步的状态参数与输入控制量，预测未来几步的状态[16]。本节内容将这种技术运用于遥操作机械臂，基于式（4）、式（5），计算机械臂未来的运动状况，并将这一状态反响给操作者，使操作者能够提早做出判别，起到状态预告的效果。

3.2 牢靠遥操作系统设计

仅经过模型预测控制技术计算系统的未来状态来抵消时延影响,可能会招致输入指令与控制结果不分歧，操作者无法及时作出判别等状况，故本文在空中控制端增设了一个牢靠遥操作系统。牢靠遥操作普通由操作者、遥操作系统、传输系统以及远端被控对象构成。应用这种遥操作系统，空中端会依据预测模型的结果，先在虚拟理想中中止仿真、反响。操作者依据反响结果判别下一步控制状态，实时控制虚拟理想中机械臂中止空间工作运动。而状态显现中修正过后的控制指令经过通讯传输，产生一定时间的时延后抵达空间被控端。这样虽天地控制端仍会存在通讯时延，但远端被控过程愈加保险牢靠。

图9 基于模型预告的遥操作回路表示图

Fig. 9 Schematic diagram of teleoperation loop based on MPC

针对机械臂末端由起始点运动至希冀位置的操作任务，对牢靠遥操作系统中止了测试实验。该算法下，预先对机械臂希冀抵达的位置中止Hermite插值，再对插值后目的位置中止逆运动学求解得到机械臂希冀各关节转角。比对希冀关节转角与实践关节转角，计算得到倾向值，依据倾向预测机械臂未来状态。

图10是在牢靠遥操作系统下，虚拟理想中UR5机械臂的预测控制结果，机械臂末端基本稳定在预先设置的目的位置。

图10 Rviz 环境下UR5 机械臂模型预测控制结果

Fig. 10 Prediction results of UR5 manipulator model in Rviz environment

图11则展示了控制过程中机械臂各转角变更状况。图中实线为机械臂各关节实时转角值，虚线为各关节希冀转角值，如图可知机械臂从恣意位置抵达目的设定范围并趋近稳定仅需0.6 s~0.7 s，这阐明该系统能够对本地操作者动作中止较快反响，具有较高的鲁棒性与反响速度。

图11 机械臂实践转角变更状况

Fig. 11 Actual angle change of UR5 manipulator

4

仿真考证

图12中，（a）~（d）分别表示操作者经过寻觅目的物体、抓取物体、移动物体至目的位置以及松开夹爪4个考证阶段。微重力环境下，物体易发作旋转、漂移等无规则运动，机械臂也会因重力发作颤动。但是分离虚拟理想视频反响，操作者能够提早做出判别，较轻松地完成整个抓取移开工作。

图13展示了仿真考证过程中机械臂各关节转角变更状况。执行过程中各关节转角变更存在微小颤动，但基本按遥操作输入指令做出响应，整体运动连续稳定。

图12 遥操作系统空间工作任务仿真考证

Fig. 12 Space task simulation of the teleoperation system

图13 机械臂各关节转角变更状况

Fig. 13 Variations of the joint angles of the manipulator

5

结论

References

YANG L, LI X, WANG H F. Design and implementation of teleoperations system based on gesture recognition technology[J]. Computer Technology and Development, 2015, 25（9）: 1-5.

CONG Y H, XIAO H, XING C D, et al. Research on humancomputer interaction technology based on computer vision gesture recognition[J]. Journal of Ordnance Equipment Engineering, 2022, 43（1）: 152-160

[3] MO Z, NEUMANN U. Real-time hand pose recognition using low-resolution depth images[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE, 2006: 1499-1505.

[4] PEER A, EINENKEL S, BUSS M. Multi-fingered telemanipulation- mapping of a human hand to a three finger gripper[C]// 17th IEEE International Symposium on Robot and Human Interactive Communication. IEEE, 2008: 465-470.

[6]李文皓, 张珩, 马欢, 等. 大时延环境下空间机器人的牢靠遥操作战略[J]. 机械工程学报, 2017, 53（11）: 90-96.

LIWH, ZHANG H, MA H, et al. Space robot reliable teleoperation strategy under large time delay[J]. Journal ofMechanical Engineering, 2017, 53（11）: 90-96.

[7] NOHMI M, ANDO M, BOCK T. Contact task by space teleoperation using force reflection of communication time delay [C]// International Symposium on Computational Intelligence in Robotics and Automation. IEEE, 2005: 193-198.

[8] FUJIWARA K, KOBAYASHI K, UCHIMURA Y. Development of tele-operation support system for remote construction with large time delay [C]// 58th Annual Conference of the Society of Instrument and Control Engineers of Japan. IEEE, 2019: 1728-1733.

[10] ALAOUI H, MOUTACALLI M T, ADDA M. AI-enabled highlevel layer for posture recognition using the azure kinect in unity3D[ C]// IEEE 4th International Conference on Image Processing, Applications and Systems. IEEE, 2020: 155-161.

[11] GOMEZ-DONOSO F, ORTS-ESCOLANO S, CAZORLA M. Accurate and efficient 3D hand pose regression for robot hand teleoperation using a monocular RGB camera[J]. Expert Systems with Applications, 2019, 136: 327-337.

[12] 杨玉敏, 廖育荣, 林存宝, 等. 轻量化卷积神经网络目的检测算法综述[J]. 舰船电子工程, 2021, 41（4）: 31-36.

YANG Y M, LIAO Y R, LIN C B. A survey of object detection algorithms for lightweight convolutional neural networks[J]. Ship Electronic Engineering, 2021, 41（4）: 31-36.

[13] SU Y, CHEN X, ZHOU T. Mixed-reality-enhanced human- robot interaction with an imitation-based mapping approach for intuitive teleoperation of a robotic arm-hand system [J]. Applied Sciences, 2022, 12（9）: 4740.

[14] KOFMAN J, WU X, LUU T J, et al. Teleoperation of a robot manipulator using a vision-based human-robot interface [J]. IEEE Transactions on Industrial Electronics, 2005, 52（5）: 1206-1219.

[15] SHERIDAN T B. Space teleoperation through time delay: review and prognosis[J]. IEEE Transactions on Robotics and Automation, 1993, 9（5）: 592-606.

[16] ZHANG B, TANG G, LI H, et al. Predictive control of teleoperation rendezvous with large time delay[C]// 10th IEEE International Conference on Control and Automation. IEEE, 2013:896-901.

作者简介

汤奇荣（1982-）,男,博士,教授,主要研讨方向为群体智能机器人、空间机器人与在轨协同装配. 本文通讯作者.

夏乾臣（1986-）, 女, 博士, 主要研讨方向为智能人机交互、虚拟理想与数据发掘.

徐宸飞（2000-）, 男, 硕士研讨生, 主要研讨方向为智能人机交互与虚拟理想.

徐鹏杰（1992-）, 男, 博士研讨生, 主要研讨方向为多机器人谐和控制与人机交互控制.

关注公众号了解更多

会员申请 请在公众号内回复“个人会员”或“单位会员

欢送关注中国指挥与控制学会媒体矩阵

CICC官方网站

CICC官方微信公众号

《指挥与控制学报》官网

国际无人系统大会官网

中国指挥控制大会官网

全国兵棋推演大赛

全国空中智能博弈大赛

搜狐号

一点号