1、Vol. 16 No. 10 系系 统统 仿仿 真真 学学 报报 Oct. 2004 JOURNAL OF SYSTEM SIMULATION 2305虚拟现实技术在机器人臂虚拟现实技术在机器人臂/灵巧手遥操作中的应用灵巧手遥操作中的应用 胡海鹰，李家炜，王 滨，王 捷，刘 宏 (哈尔滨工业大学机器人研究所, 哈尔滨 150001) 摘摘 要：要：将虚拟现实技术应用机器人臂/灵巧手遥操作系统中，完成了环境建模、人-机接口、精确的图形碰撞检测和抓握稳定性分析，并实现了对虚拟环境中模型的实时误差校正。利用该虚拟现实系统，结合视觉反馈和力反馈，完成了按按钮、拉抽屉、抓握灯泡等遥操作任务。 关键词：关
2、键词：虚拟现实；遥操作；机器人臂/灵巧手系统；模型误差校正 文章编号：文章编号：1004-731X (2004) 10-2305-04 中图分类号：中图分类号：TP391.9 文献标识码：文献标识码：A An Application of Virtual Reality on Teleoperation of Robot Arm and Dexterous Hand HU Hai-ying, LI Jia-wei, WANG Bin, WANG Jie, LIU Hong (Robot Research Institute, Harbin Institute of Technology (HI
3、T), Harbin 150001, China) Abstract: A teleoperation system for robot arm and dexterous hand based on virtual reality is introduced in this paper. Environment modeling, human-machine interface, precise collision detection and grasp stability analysis are focused in the development. Especially, the mo
4、del in virtual can be updated in real-time. Utilizing this virtual reality system combined with vision and force feedback, some teleoperation tasks, such as pushing button, pulling drawer and grasping bulb, have been accomplished. Key words: virtual reality; teleoperation; robot arm and dexterous ha
5、nd system; model calibration 引引 言言1 对于工作在太空、 深海等环境中的机器人系统， 由于空间作业环境的复杂多变性和当前智能技术发展的限制， 依靠机器人系统自主地完成任务在目前是很难实现的， 必须利用人以遥操作的方式参与机器人编程规划， 即本地的操作者利用遥操作设备实现远端机器人系统的遥控。 为提高遥操作机器人系统的能力和效率, 临场感技术是必不可少的1。 虚拟现实技术可以借助于视觉、听觉、力觉、触觉等传感器及相应的建模技术和设备， 使人在与计算机所生成的虚拟环境中产生“身临其境”的沉浸感，为用户提供一种和谐的人-机交互式的遥操作作业环境。大量遥操作机器人实验研
6、究表明,基于虚拟现实的仿真技术不但是克服大时延的有效手段,也为人的监控和机器人系统局部自主的共享控制的实现提供了人-机交互的界面2-4。 本文以太空遥操作机器人作业为背景，在 SGI 工作站上建立了机器人臂/灵巧手及其作业虚拟环境，实现了基于虚拟现实的人-机接口、精确的图形碰撞检测、抓握稳定性分析， 实现了对虚拟环境中模型的误差校正。 利用虚拟技术完成了机器人系统的遥操作试验， 从而提高了遥操作的效率 收稿日期收稿日期：2003-09-10 修回日期修回日期：2004-01-13 基金项目基金项目: 国家自然科学基金 (60275032) 作者简介： 胡海鹰作者简介： 胡海鹰(1977-),
7、男, 江苏人, 博士生, 研究方向为机器人遥操作, 虚拟现实, 力反馈; 李家炜李家炜(1971-), 男, 副研究员, 研究方向为机器人遥操作, 多手指协调抓取; 刘刘 宏宏(1968-), 男, 特聘教授, 博导, 研究方向为多手指灵巧手, 智能机器人, 空间机器人。 和可靠性。 1 遥操作系统结构概述遥操作系统结构概述 本文所述的机器人遥操作系统从功能结构上主要分为两个部分:基于虚拟现实的人-机接口系统和遥操作机器人系统, 见图 1。人-机接口部分包括人-机接口操作界面、视觉显示界面、虚拟环境图形界面。人-机接口操作界面有空间鼠标、 力反馈式数据手套等多种输入设备； 视觉界面显示机器人双
8、目 CCD 摄像系统摄取的作业图像；遥操作机器人系统由哈尔滨工业大学机器人研究所研制的具有多种感知功能的 HIT 四指灵巧手和 Staubli 公司的 RX60 型机器人臂一起组成的机器人臂/灵巧手系统、操作平台、作业对象及双目立体视觉系统组成。 局域网SGI图形工作站空间鼠标机器人控制器RX60机器人视觉工作站灵巧手控制器操作者人机接口系统部分四指灵巧手力反馈数据手套 摄像机遥机器人系统部分 图 1 机器人臂/灵巧手遥操作系统结构图 Vol. 16 No. 10 系 统 仿 真 学 报 Oct. 2004 2306 该结构中操作者通过空间鼠标、数据手套等人-机接口设备分别来操作虚拟环境中的机
9、器人臂、灵巧手仿真模型，SGI 图形工作站根据机器人运动学算法实现仿真模型的运动； 然后将仿真的结果数据分别传给机器人臂和灵巧手控制器， 使实际的机器人臂和灵巧手再现仿真模型的运动； 当被操作对象进入视场后,双目立体视觉系统计算出它在机器人固定坐标系中的位姿,虚拟现实系统利用位姿信息对被操作物体进行定位。 在灵巧手操作的过程中， 利用精确的图形碰撞检测、实时的视觉反馈和力反馈完成操作任务。 2 虚拟环境的构建虚拟环境的构建 2.1 虚拟环境的建模虚拟环境的建模 建立一个逼真的机器人系统的虚拟环境是提高仿真系统精度的保证。 虚拟环境建模主要包括几何建模和运动学建模。本文首先利用三维建模软件 Pr
10、oE 完成了虚拟场景中各部分几何模型，根据实体的物理性质定义它们的基本属性(位置、大小、颜色、纹理等)，利用 C+编程环境和 SGI 公司的 OpenInventor 三维图形函数库在 SGI 工作站上将基本构件按运动学关系再组合成新的构件。在构件的基础上,定义它的运动学特性(自由度、平移与旋转轴、运动速度范围等约束)。我们将整个虚拟环境的世界坐标原点设在 RX60机器人的基关节的原点。 需要一起运动的就规定为父子关系,如机器人的各个关节之间，机器人末关节和灵巧手手掌之间， 灵巧手手掌和各个手指之间， 灵巧手各个手指关节之间。按照这种关系， 从 RX60 机器人底座到灵巧手指尖形成一个控制链，
11、 把这个控制链作为一个节点加入到虚拟场景中， 然后以 RX60 机器人基关节的原点作为基准，把工作台、被抓取物体等按实际位置加入到场景中， 机器人遥操作的虚拟三维图形场景就基本形成了。 OpenInventor 函数库提供了一个三维图形浏览器 ExaminerViewer， 它可以让操作者从任意的视角观察虚拟场景， 并可以任意放大局部三维视图。 这样就可以避免视觉反馈的视角局限性， 操作者通过虚拟环境就可以观测到虚拟操作场景的任意位置。 2.2 虚拟环境的人虚拟环境的人-机接口机接口 在理想的情况下，虚拟环境系统应当是多传感器构成的人-机交互集成系统，应该包括立体图像、立体视觉、声控、语音识别
12、、触觉系统、力反馈等。本系统中，为了操纵机器人臂和灵巧手， 我们重点开发了基于空间鼠标和数据手套的人-机接口和实际机器人臂/灵巧手操作环境的视觉反馈和操作力反馈。 图 2 中， 操作者不但可以观测到虚拟环境的立体图像,通过数据手套、空间鼠标分别操作虚拟的灵巧手和机器人臂,实现对仿真模型的规划和控制；还可以实时地观测到视觉反馈回来的实际场景和感觉到实际的操作力。 本文利用空间鼠标操作 RX60 机器人模型。 它作为空间控制器具有六个自由度， 分别对应刚体在世界坐标系三个方向上的平移及三个方向上的转动，用来控制虚拟环境中RX60 机器人末端的位置和姿态。 本文利用 CyberGlove 数据手套控
13、制灵巧手。由于灵巧手的配置和人手有很大的差异,因此必须完成人手与灵巧手的位姿映射。 人手到灵巧手的映射一般有两种： 基于关节角度对应的映射和基于指尖位置对应的映射， 前者适用于强力抓握， 后者适用于指尖精细操作。 本系统实现了基于指尖位置对应的映射：在立体双目视觉测量人手指尖位置的基础上，基于开环标定方法比较精确地得到人手各几何模型参数。利用 CyberGlove 数据手套测得的人手各关节的角度，运用机器人运动学关系得到人手各指尖位置， 然后根据修正的指尖位置映射关系，得到灵巧手相应的指尖位置5。 操作者可以通过安在灵巧手手掌上的两个摄像机传来的实时图像观测到实际的操作场景。 灵巧手的基关节上
14、有力矩传感器， 手指尖上有我们自己研制的五维力传感器， 它能精确地测得指尖三个方向的力和两个力矩； 因此操作者在利用数据手套操作虚拟物体时，还可以通过力反馈装置CyberGrasp 感受到实际反馈回来的操作力，从而可以实时监控抓取的过程， 判断抓取是否稳定和牢靠， 这对基于虚拟现实的遥操作是很有意义的。 图 2 虚拟现实系统与人机接口 2.3 三维图形碰撞检测三维图形碰撞检测 快速、精确的碰撞检测对提高虚拟环境的真实性、增强虚拟环境的沉浸感有着至关重要的作用， 而虚拟环境的复杂性和实时性又对碰撞检测提出了更高的要求。 本虚拟系统通过仿真场景中几何模型的特征描述， 逐层进行简化， 寻找几何模型间
15、的最近特征对， 实现了运动着的物体间的实时距离检测， 对距离达到规定阈值的几何模型进行碰撞检测， 提高了检测的效率。 通过对几何模型建立紧密的基于方向的层次包围盒树(OBB)6，实现了场景中运动物体间的快速、精确的碰撞检测，确定出接触模型的碰撞部位和接触法线方向，并以摩擦锥的形式进行表示。 2.3 虚拟环境的误差校正虚拟环境的误差校正 使用虚拟现实技术辅助操作者有效地完成对机器人的遥操作过程中,必须保证虚拟环境与真实环境的一致性。但是，即使对于高度结构化的环境,意外和偶然因素仍然是不可避免的, 且遥机器人的运动相对于理想轨迹或预定目标必然存在偏差, 这就造成了虚拟机器人和真实机器人之间Vol.
16、 16 No. 10 Oct. 2004 胡海鹰, 等：虚拟现实技术在机器人臂/灵巧手遥操作中的应用 2307的误差; 另一方面误差来源于实际的操作对象和虚拟操作对象之间的位置和姿态差异。 根据这两方面误差的来源, 虚拟环境的误差校正分为两个方面: 虚拟机器人的误差校正和虚拟被操作对象的误差校正。 虚拟机器人的校正包括RX60机器人和HIT灵巧手的位置校正。 实际的机器人系统各自都有内置传感器, 在虚拟环境下，我们可以实时通过网络得到真实机器人的状态信息。设实际机器人的各关节量为，虚拟机器人的状态为，则虚拟机器人相对于遥机器人的误差为:=，如误差超过预定的阈值 T，T， 将虚拟机器人的状态更新
17、为遥机器人的状态。 同虚拟机器人不同的是, 操作对象的位姿一般无法通过自身传感器获得， 本文利用视觉对虚拟环境中的被操作对象进行位置标定。视觉部分采用两台标准的 CCD 摄像机(TOSHIBA IK-CU50)， 安装在灵巧手手掌上。 视觉系统在标定后,就可利用基于双目立体视觉的方法来计算空间任一特征点在摄像机基坐标系下的三维坐标， 而在实验过程中两个摄像机与机械手之间的位置关系是固定的， 利用机器人运动学关系， 就可以计算得到该点相对于固定坐标系的位置。 这些位置参数可以同过网络实时地传给虚拟仿真系统， 从而完成虚拟环境下被操作对象的误差校正。 3 灵巧手抓取稳定性判断灵巧手抓取稳定性判断
18、为保证灵巧手能完成操作任务，在操作过程中，多指手的抓取必须满足平衡条件， 即所有作用在物体上的力， 包括手指的抓取力和外力， 矢量和必须为零。 如果手指作用在物体接触点的力可以抵消作用在物体上的任意力旋量， 那么称该抓取满足力封闭条件。 如果满足力封闭条件， 就可根据作用在物体上的外力，求解各手指所需的抓取力。 抓取稳定性的判断是实现一个有效抓取的重要步骤。本系统将虚拟环境中的多指手与被抓物体在接触点产生的摩擦锥近似为线性约束后， 计算接触力螺旋， 并将其映射为物体力螺旋。 通过构建物体抓取力螺旋空间的凸包， 实现了抓取稳定性的判断， 并根据单位抓取力螺旋空间的凸包， 给出了抓取质量好坏的定量
19、评估。 将六维抓取力螺旋空间进行投影， 分别显示抓取力空间和力矩空间， 以图形方式直观地显示了抓取状况和抓取的薄弱方向7， 可根据定量评估参数和三维空间的图形显示， 在众多的抓取形式中选择一种高质量的抓取方式， 以得到期望的抓取结果。 图 3 是灵巧手抓取稳定性的判断的流程图。 三维螺旋空间的抓取一般回避图形显示，因为六维的抓取螺旋空间难于显示。 为了显示抓取效果， 本文将六维投影到三维空间中去， 以半空间的方式进行显示： 如果固定抓取螺旋空间中的力矩坐标， 将得到力空间， 即六维凸包空间在三维力坐标上的投影。如果固定抓取螺旋空间中的力坐标， 将得到力矩空间， 即六维凸包空间在三维力矩坐标上的
20、投影， 然后将力和力矩空间分别以三维图形的方式直观地显示出来，即可观察到抓取状况和抓取的薄弱方向。 图 4 是灵巧手对球的一个稳定抓取。左下图是力空间的图形显示， 右下图是力矩空间的图形显示。 从力空间图形可以看出不同抓取方式抵抗干扰力的薄弱方向， 力矩空间可以直观显示抵抗干扰力矩的能力。 图中右上角 Offset 值代表六维抓取螺旋空间的凸包表面， 距映射原点最近的距离。 根据力封闭抓取的凸条件8，系统显示的 Offset 值为正，则可断定抓取是稳定的， Offset 值越接近于 1， 抓取的质量越高。Volume 值为六维抓取螺旋空间的体积，可以作为评估抓取质量的参考值。在 Offset
21、值相同的情况下，Volume 值越大，抓取抵抗干扰力螺旋的能力越强。 图 5 减少了手指与物体接触点的数目， 只有两点接触，从仿真图中可以看出抓取螺旋空间不包括映射原点， 所以该抓取是不稳定的抓取。 4 遥操作系统试验遥操作系统试验 在遥操作实验中,操作者可以利用空间鼠标、数据手套等,在虚拟环境中规划、协调和仿真机器人臂/灵巧手系统的运动。机器人臂/灵巧手系统在每个通讯周期内一方面将灵巧手与机器人臂的实际位置信息反馈给虚拟环境以更新和修正仿真模型,另一方面,也将由安装在指尖的五维力/力矩传感器测得的灵巧手指尖力/力矩的信息通过网络反馈给力定义灵巧手和被抓物体间的静摩擦系数 调整灵巧手与物体初始
22、相对姿态， 利用数据手套操作各手指模型运动直至与物体发生碰撞 计算抓取评估参数 构建抓取螺旋凸包空间 将各接触点的摩擦锥简化为多边棱锥， 分别计算力螺旋；将各接触点的力螺旋映射到被抓物体的质心 抓取是否稳定? 否 是 图 3 抓握稳定性判断流程图 图 4 灵巧手对球的稳定抓取摩擦锥力空间力矩空间图 5 灵巧手对球的不稳定抓取力空间 力矩空间Vol. 16 No. 10 系 统 仿 真 学 报 Oct. 2004 2308 反馈装置 CyberGrasp，力反馈装置产生大小不同的指尖拉力， 作用在操作者手指尖上， 操作者就能感觉到灵巧手与被抓握物体接触时产生的接触力。 图 6 左边大图是操作机器
23、人臂/灵巧手的虚拟环境。图中六维凸包空间距原点的最近距离(Offset 值)为 0.085033，满足力封闭的要求，此种方式的抓取是稳定的。 右侧的三幅小图分别为实际遥操作实验中机器人和灵巧手接近灯泡、 稳定抓取灯泡和移动灯泡过程。 利用专门设计的模拟空间机器人作业的实验平台,还完成了机器人臂/灵巧手系统的遥操作空间作业,如按按钮、拉抽屉、抓握灯泡等操作。 图 6 抓握灯泡的遥操作过程 5 结论结论 本文研究了一种基于虚拟现实的机器人臂/灵巧手遥操作系统， 研究了遥操作机器人及其作业环境的建模、 基于虚拟现实人-机交互接口、虚拟环境下精确的碰撞检测和虚拟环境与真实环境的一致性校正， 还重点分析
24、了灵巧手抓握物体稳定性的判断。该系统和实际机器人臂/灵巧手系统相连,完成了按按钮、 拉抽屉、 抓握灯泡等模拟的空间遥操作任务，可以为空间机器人、 网络遥操作等新兴学科的研究提供了仿真实验平台， 促进了虚拟环境下遥操作机器人系统研究水平的提高和应用技术的发展。 参考文献：参考文献： 1 李焱, 吴涛, 贺汉根. 应用虚拟现实的遥操作机器人技术J. 国防科技大学学报, 2001, 23(5) 2 Grigore C.Burdea. The Synergy Between Virtual Reality and Robotics J. IEEE Transactions on Robotics an
25、d Automation. June, 1999, 15(3) 3 Freund E, Hoffmann, K, Rossmann J. Application of automatic action planning for several work cells to the German ETS-VII space robotics experiments C. Proc IEEE International Conference on Robotics and Automation, 2000, 1239-1244 4 Tzafestas C S. Teleplanning by hum
26、an demonstration for VR-based teleoperation of a mobile robotic assistant C. Proc 10th IEEE International Workshop on Robot and Human Interactive Communication, 2001, 462 467 5 Hu Haiying, Li Jiawei, Wang Jie, Wang Bin. Calibrating Human Hand for Teleoperating the Hit-DLR Hand C. Submitted to Proc I
27、EEE International Conference on Robotics and Automation, 2004 6 S Gottschalk, M C Lin, D Manocha. OBBTree: A Hierarchical Structure for Rapid Interference Detection C. Proc of SIGGRAPH96 C. 1996, 171-180 7 Miller, Andrew T, Peter K. Allen. GraspIt!: A Versatile Simulator for Grasp Analysis C. Procee
28、dings ASME International Mechanical Engineering Congress & Exposition, Orlando, FL, 2000. 8 理查德 摩雷 , 李泽湘, 夏恩卡 萨思特里 . 机器人操作的数学导论M. 徐卫良, 钱瑞明译. 北京: 机械工业出版社, 1998. （上接第 2275 页） 的奇异点进一步地给以确认； 利用两种方法所绘制的机构速度及加速度曲线的完全吻合，说明了文献6中提出运用虚设影响系数法建立的一阶、 二阶影响系数的可行性， 为进一步对机器人机构进行分析奠定了基础； 通过改变机构尺寸对机构加速度曲线的仿真比较，直观展现了文献
29、7所得出的结论，说明了文献5中提出的新机构性能分析指标的实用性。 参考文献：参考文献： 1 刘辛军. 并联机器人机构尺寸与性能关系分析及其设计理论D. 燕山大学工学博士论文, 1999.11 2 Gao F, Liu X J. The relationships between the shapes of the work- spaces and the link lengths of 3-DOF symmetrical planar parallel man ipulators J, Mechanism and Machine Theory, 2001, 36(2): 205-220 3 L
30、iu X J, Jin Z L, Gao F. Optimum design of 3-DOF spherical paral- lel manipulators with respest to the conditioning and stiffness indices J, Mechanism and Machine Theory, 2000, 35(9): 1257- 1267 4 金振林, 高峰. 新型 6-SPS 微操作机器人的加速度性能指标分析J. 机械设计与制造, 2000, (3): 29-30 5 郭希娟. 并联机器人机构动力学基础理论研究D. 燕山大学工学博士论文, 2002, 8 6 黄真. 并联机器人机构学理论及控制M. 北京: 机械工业出版社, 1997. 7 郭希娟. 平面RRR3并联机构的运动性能分析J. 机器人技术与应用, 2002, (4): 41-45 8 周金萍. MATLAB6 实践与提高M. 北京: 中国电力出版社, 2002.1 9 程卫国. MATLAB 5.3 M. 北京: 人民邮电出版社, 1991, 11.
