1、技术创新中文核心期刊 微计算机信息(嵌入式与S O C) 2 0 0 8年第2 4卷第3 -2期3 6 0元/年 邮局订阅号:8 2 - 9 4 6现场总线技术应用2 0 0例机 器 人 技 术基于虚拟现实的机器人遥操作系统设计D e s i g no f R o b o t T e l e o p e r a t i o nS y s t e m B a s e do nV i r t u a l R e a l i t y(河北工业大学)张建畅王建超张明路陶会荣Z H A N GJ I A N C H A N G WA N GJ I A N C H A O Z H A N GMI N G
2、L U T A OH U I R O N G摘要:虚拟现实是一门新兴的学科,是迄今为止最强的人机接口技术。本文提出了基于虚拟现实的机器人遥操作系统的总体结构,分析了系统的运作原理,建立了分层控制模型并对系统的硬件环境、 虚拟环境的构建和视频监控系统的设计等关键技术进行了详细的阐述。将虚拟现实技术引入机器人遥操作系统,不仅增强了远端执行机构的作业能力,也拓展了设备的应用领域,使操作者能安全舒适的操纵机器人完成任务。关键词:虚拟现实; O p e n G L ;视频监控;多线程中图分类号: T P 2 4文献标识码: AA b s t r a c t :A sar i s i n gs u b j
3、 e c t , v i r t u a l r e a l i t yi st h eb e s t h u m a n - m a c h i n ei n t e r f a c et e c h n o l o g ys of a r . T h i sp a p e rs u b m i t st h ea r c h i t e c -t u r a l s t r u c t u r eo f t h er o b o t t e l e o p e r a t i o ns y s t e mb a s e do nv i r t u a l r e a l i t ya n
4、da f t e ra n a l y z i n gt h ep r i n c i p l eo f t h es y s t e mso p e r a t i o n , i ts e t su pt h em o d e l o f h i e r a r c h i c a l c o n t r o l . S u b s e q u e n t l yt h i sp a p e re l a b o r a t e sc r i t i c a l t e c h n i q u e ss u c ha st e l e r o b o t , c r e a t i n g
5、v i r t u a l e n -v i r o n m e n t , d e s i g n i n gv i d e os u p e r v i s i n gs y s t e ma n ds oo n . B r i n gt e c h n o l o g yo f v i r t u a l r e a l i t yi nr o b o t t e l e o p r a t i o ns y s t e m, n o t o n l ys t r e n g t h e n st h ew o r k i n ga b i l i t yo f t h ea c t u
6、 a t o rb u t a l s ow i d e n sa p p l i c a t i o na r e a so f t h ed e v i c e . M a n i p u l a t o rc a ns a f e l ya n dc o z i l yc o m -p l e t e st a s k sb yt e l e o p e r a t i n gt h er o b o t .K e yw o r d s : V i r t u a l R e a l i t y , O p e n G L , v i d e os u p e r v i s i n g
7、 , mu l t i t h r e a d文章编号: 1 0 0 8 - 0 5 7 0 ( 2 0 0 8 ) 0 3 -2- 0 2 4 6 - 0 3引言遥操作机器人作为机器人的一个重要分支,一直受到许多研究机构和研究人员的关注和重视。在危险、 恶劣以及人类难以到达的环境中作业时,机器人可以作为人类智能的延伸,拓展人的感知和操作能力。 由于现有的人工智能的局限性,实现机器人安全有效的全自主操作还不现实,因此,机器人的发展方向由早期的全自主方式向有人参与的方向发展,将人的智能同机器人的自主性有机的结合起来,形成了现在的遥操作系统。在基于虚拟现实的遥操作系统中,操作者通过操纵虚拟环境中的
8、仿真机器人来实现对远端真实机器人的遥控,这样不仅克服了通信时延的影响,还提供了友好的人机交互界面。 通过改变虚拟环境中的视点和视角,得到了单一的视频反馈所达不到的监控效果,从而能更有效地协助操作者完成任务。 美国著名计算机图形专家J . F o l e y曾指出,虚拟现实“ 或许是人机接口作为计算机设计的最后一个堡垒中最有意义的领域”。本文以五自由度移动机械手为被控对象,利用V i s u a l C + +和O p e n G L构建的虚拟环境来增强临场感,减少了通信时延造成的误操作,提高了工作效率。1基本结构及运作原理基于虚拟现实技术的机器人遥操作系统的主要功能就是通过操作虚拟的机器人来操
9、纵现实中的机器人。本文的基本思想就是操作人员通过数据手套、 键盘或鼠标等输入设备来控制虚拟机器人,最终实现对实际机器人的操作。 系统的结构简图如图1所示。图1系统结构简图为了实现上述设计思想,系统从功能上分为人机接口系统、信息传输系统和遥机器人系统三个部分。操作人员以人机对话的方式进行机器人作业信息的收集并对机器人下达各种指令,使遥机器人的各种传感器、 执行机构和控制器有效的进行工作。操作人员、 计算机A、 计算机B以及立体显示设备和信息输入设备构成一个信息循环监控回路。计算机B、 立体视觉系统和机器人执行器构成了另一个信息循环闭环控制回路。 两个回路之间以反馈信息为主,遥机器人以半自主方式运
10、行。一方面控制系统通过无线网络接收到遥操作指令,解码、 编译后控制机器人的各个关节,实现相应的动作并将机器人和环境的状态信息传给遥操作者;另一方面控制系统运用多传感器张建畅:博士研究生基金项目:国家8 6 3计划项目极限环境下面向危险品检测的多感官机器人系统(2 0 0 6 A A 0 4 Z 2 2 1);河北省自然科学基金项目面 向 公 共 安 全 的 移 动 机 械 手 目 标 辨 识 与 定 位(E 2 0 0 6 0 0 0 0 3 0);天津市科技发展计划项目汽车导航多媒体系统研制(0 6 F G P G X 0 7 2 0 0)2 4 6-邮局订阅号:8 2 - 9 4 63 6
11、 0元/年技术创新机 器 人 技 术P L C技术应用2 0 0例您的论文得到两院院士关注信息融合技术和智能控制技术,能自主的实现目标识别与定位、轨迹规划、 意外情况的处理等,提高了机器人对环境的适应能力。因为操作人员不是控制回路的一部分,因此通信延迟对控制回路的影响很小。另一方面,由于与操作人员直接接触的是虚拟的机器人,整个交互过程在本地实现,因此不会出现由于信息传输的延迟对操作人员造成的不适感。系统的分层控制模型如图2所示。图2分层控制模型2系统的实现及关键技术研究2 . 1 .硬件环境被控机器人是本实验室研制的五自由度移动机械手。硬件体系包括两部分:移动载体部分和五自由度机械手部分。 移
12、动载体是在A c t i v m e d i aR o b o t i c s公司的P i o n e e r 3H 8 - A T移动机器人的底盘基础之上进行改造,嵌入了主控P C和多种传感器(包括视觉传感器、 超声传感器、 颜色和条码传感器等)。 五自由度机械手为本实验室自行设计制造,五关节都为旋转关节,由各自的关节电机驱动,机械手的运动控制由P M A C控制器完成。其外形如图3所示。2 . 2虚拟环境的建立软件设计时以V i s u a l C + +为开发平台,利用O p e n G L进行编程。O p e n G L是严格按照计算机图形学原理设计而成的一个性能卓越的三维图形标准,符
13、合光学和视觉原理,具有强大的三维建模及实时的图形交互操作功能,同时还具有广泛的可移植性,独立于硬件系统、 操作系统和窗口系统。其双缓存技术使得所生成的三维动画效果能够像电影一样平滑流畅,因此非常适合于虚拟环境的构建。设计时,在M F C ( M i c r o s o f t F o u n d a t i o nC l a s s e s ,微软基础类)架构上建立静态切分窗口,把整个程序界面分成三块,左边是主视图(显示跟随机器人运动的摄像机的视野) ,右上角是全景俯视图(显示机器人的绝对位置和行驶方向) ,右下角是视频监控窗口(实时监视现场环境) ,最终的软件界面如图4所示。图3五自由度移动
14、机械手图4虚拟环境界面2 . 3视频监控系统设计由于虚拟环境与真实环境难免存在误差,而且在控制指令传输以及机器人状态数据反馈时存在时间延迟,因此实时视频监控是必需的。在程序设计时,基于客户机/服务器模型,采用面向连接的流式套接字,利用多缓冲区多线程的工作方式编程。多缓冲区是指编码缓冲区、 发送缓冲区、 接收缓冲区、 解码缓冲区,多线程指主线程、 编码线程、 内存切换线程、 发送线程、接收线程和解码线程等。 在发送方:编码线程进行视频图像的编码,并把结果放入编码缓冲区,内存切换线程将编码缓冲区的内容移至发送缓冲区,发送线程将发送缓冲区的内容传送到接收方,最后主线程负责窗口信息。在接收方:接收线程
15、将接收发送方发送过来的信息并放入接收缓冲区,内存切换线程将接收缓冲区的内容移至解码缓冲区,解码线程进行视频图像的解码。为了实现线程的同步,在发送方利用了5个事件,它们是编码缓冲区空、 编码缓冲区满、 发送缓冲区空、 发送缓冲区满和允许发送事件。在接收方也利用了5个事件,解码缓冲区空、 解码缓冲区满、 接收缓冲区空、 接收缓冲区满和允许接收事件。最终界面如图4右下角所示。3结束语本文的创新点在于研究和设计了一种新型的机器人遥操作系统并建立了系统的分层控制模型。在主控端,我们利用V i s u a lC + +和O p e n G L建立了虚拟环境,增加了操作者的沉浸感,丰富了想象力,提高了人机交
16、互能力;在视频监控部分,利用多缓冲区、2 4 7-技术创新中文核心期刊 微计算机信息(嵌入式与S O C) 2 0 0 8年第2 4卷第3 -2期3 6 0元/年 邮局订阅号:8 2 - 9 4 6现场总线技术应用2 0 0例机 器 人 技 术多线程技术提高了视频数据的传输速度,监控画面清晰、 流畅。近年来恐怖分子活动猖獗,人民的生命和财产蒙受了巨大损失,国际社会对公共安全的重视程度越来越高,面向公共安全的机器人遥操作技术成为了反恐领域研究的热点和资助的重点。虚拟现实技术开创了一种全新、 高效的遥操作方式,因此,本项目的研究具有很高的应用价值,收益预计在百万元左右。参考文献: 1 符秀辉, 华
17、建宁, 郑伟等. 网络遥操作机器人的任务产生方法研究 J 微计算机信息, 2 0 0 6 . 3 , 2 : 1 8 5 - 1 8 7 。 2 李俊. 虚拟现实技术在大型水利工程中的应用与研究 D . 北京: 北方工业大学, 2 0 0 6 . 3 张磊敏. 基于 C / S 的远程过程控制实验方法研究 D . 武汉: 武汉理工大学, 2 0 0 6 . 4 郭天太. 基于 V R的虚拟测试技术及其应用基础研究 D . 浙江:浙江大学, 2 0 0 5 . 5 崔峰, 张明路, 李斌. 基于 M a t l a b 和 O p e n G L的五自由度机械手的运动学的运动仿真 J . 系统仿
18、真技术及其应用, 2 0 0 5 , V o l . 7 :1 4 8 - 1 5 2 . 6 张允刚, 刘常春, 刘伟等. 基于 S o c k e t 和多线程的远程监控系统 J . 控制工程, 2 0 0 6 , 3 : 1 7 5 - 1 7 7 . 7 石锦, 曾庆军. 网络遥操作机器人系统视频传输研究 J 微计算机信息, 2 0 0 7 . 3 , 2 : 2 5 4 - 2 5 6 .作者简介:张建畅( 1 9 6 2 - ) ,男,汉族,河北工业大学博士研究生,机械制造及自动化专业,主要研究方向:移动机械手协调控制技术;王建超( 1 9 8 2 - ) ,男,汉族,河北工业大学
19、硕士研究生,机械电子工程专业,主要研究方向:智能机器人技术及应用。张明路( 1 9 6 4 - ) ,男,汉族,教授,河北工业大学机械工程学院院长,博士生导师,主要研究方向:移动机器人、 智能控制等;陶会荣( 1 9 8 1 - ) ,女,汉族,河北工业大学硕士研究生,机械电子工程专业,主要研究方向:智能机器人技术及应用。B i o g r a p h y :Z h a n gJ i a n - c h a n g , b o r ni n1 9 6 2 , m a l e , t h eH a nn a t i o n a l i t y , s t u d y i n gi n H e b
20、 e iU n i v e r s i t y o fT e c h n o l o g y f o rd o c t o rsd e g r e e , p r o f e s s i o n i sM e c h a n i c a lM a n u f a c t u r e a n dA u t o m a t i o n , m a i n r e s e a r c h s u b j e c ti sc o o r d i n a t e d c o n t r o lo fm o b i l em a n i p u l a t o r ; Wa n gJ i a n - c
21、h a o ,b o r ni n1 9 8 2 ,m a l e ,t h eH a nn a t i o n a l i t y , s t u d y i n gi nH e b e i U n i v e r s i t yo f T e c h n o l o g yf o rm a s t e rsd e g r e e , p r o f e s s i o ni sE l e c t r o - m e c h a n i c a l E n g i n e e r i n g ,m a i n r e s e a r c h s u b j e c ti s t h e t
22、e c h n o l o g y a n d a p p l i c a t i o n o fi n t e l l i g e n tr o b o t ; Z h a n gM i n g - l u ,b o r ni n1 9 6 4 ,m a l e ,t h eH a nn a t i o n a l i t y ,p r o f e s s o r , t h e d e a n o f s c h o o l o f m e c h a n i c a le n g i n e e r i n go fH e b e iU n i v e r s i t yo fT e c
23、 h n o l o g y , t h et u t o ro fd o c t o r , m a i nr e s e a r c hs u b j e c t sa r em o b i l er o b o ta n di n t e l l i g e n tc o n t r o l a n ds oo n ; T a oH u i - r o n g , b o r ni n1 9 8 1 , f e m a l e , t h eH a nn a t i o n a l i t y , s t u d y i n gi n H e b e iU n i v e r s i t
24、 y o fT e c h n o l o g y f o rM a s t e rsd e g r e e , p r o f e s s i o ni sE l e c t r o - m e c h a n i c a l E n g i n e e r i n g ,m a i n r e s e a r c h s u b j e c ti s t h e t e c h n o l o g y a n d a p p l i c a t i o n o fi n t e l l i g e n t r o b o t .( 3 0 0 1 3 0天津河北工业大学机械工程学院)张建畅
25、王建超张明路陶会荣( S c h o o l o f Me c h a n i c a l E n g i n e e r i n g , H e b e i U n i v e r s i t y o fT e c h n o l o g y , T i a n j i n0 0 1 3 0 , C h i n a ) Z h a n gJ i a n c h a n g Wa n gJ i a n c h a oZ h a n gMi n g l uT a oH u i r o n g通讯地址: ( ( 3 0 0 1 3 0天津市红桥区河北工业大学北院 中心实验楼5 0 8室)张建畅(收
26、稿日期: 2 0 0 8 . 1 . 0 5 ) (修稿日期: 2 0 0 8 . 2 . 2 0 )(上接第2 3 7页)系统的数据提取等操作就是在该数据源中进行的,这些操作是通过应用S Q L i t e自身标准S Q L语言来实现的。 在相应的数据操作完成后, 必须把数据源中的过期数据进行删除。在完成了数据的提取和整合后,系统将把数据根据对应E C S p e c的具体要求封装成为X M L格式, 并以T C P方式发送给所订阅的用户。4结束语本文作者研究的创新点是在基于E P C g l o b a l A L E标准, 如何设计构架于嵌入式系统中的R F I D中间件方面上,提出了比
27、较清晰的思路,并按照该思路实现了基于E P C g l o b a l A L E标准的嵌入式R F I D中间件, 经编译运行测试, 该系统体积小、 稳定可靠、 实时性好、 并行处理速度高, 可广泛应用于嵌入式R F I D阅读器系统中。参考文献: 1 A U T O - I DC e n t e r , T h e E P C g l o b a l A r c h i t e c t u r e F r a m e w o r k , E B /O L . h t t p : / / w w w . e p c g l o b a l i n c . o r g / s t a n d
28、a r d s _ t e c h n o l o g y /F i n a l - e p c -g l o b a l - a r c h - 2 0 0 5 0 7 0 1 . p d f 2 A U T O - I DC e n t e r , T h eA p p l i c a t i o nL e v e l E v e n t s ( A L E ) S p e c i f i -c a t i o n V e r s i o n 1 . 0 E B / O L . h t t p : / / w w w . e p c g l o b a l i n c . o r g /
29、s t a n -d a r d s _ t e c h n o l o g y / E P C g l o b a l _ A p p l i c a t i o n _ L e v e l _ E v e n t s( A L E )_ S p e c i f i c a t i o n _ v 1 . p d f 3 王学龙. 嵌入式 L i n u x 系统设计与应用. 清华大学出版社, 2 0 0 1 4 K l a u s F i n k e n z e l l e r 著, 陈大才编译. 射频识别( R F I D ) 技术 北京:电子工业出版社, 2 0 0 1 5 芦东昕，
30、李强， 柳长安. 基于 A R M的 R F I D阅读器设计 J 微计算机信息, 2 0 0 6 , 1 0 - 2 : 2 8 6 - 2 8 8作者简介:吴彤钊( 1 9 8 3 . 0 1 - ), 男, 硕士研究生, 研究方向:嵌入式系统设计.谢胜利( 1 9 5 8 . 1 2 - ), 男, 教授, 博士生导师, 主要研究方向:盲信号分离。B i o g r a p h y :WuT o n g z h a o( 1 9 8 3 . 0 1 - ) , m a l e , N a t i o n a l i t y : H a n , D e -g r e e :M a s t
31、e rg r a d u a t es t u d e n t , R e s e a r c hD i r e c t i o n :d e s i g no fe m -b e d d e ds y s t e m , X i e , S h e n g l i ( 1 9 5 8 . 1 2 - ) , m a l e ,N a t i o n a l i t y : H a n , D e -g r e e : P r o f e s s o r , D i r e c t o ro fd o c t o r , R e s e a r c hD i r e c t i o n : b
32、 l i n ds i g n a ls e p a r a t i o n( 5 1 0 6 4 0广东广州华南理工大学电子与信息学院)吴彤钊谢胜利( S c h o o lo fE l e c t r o n i ca n dI n f o r ma t i o nE n g i n e e r i n g , S o u t hC h i n aU n i v e r s i t yo f T e c h n o l o g y , G u a n g z h o u, 5 1 0 6 4 0 , C h i n a )WuT o n g Z h a oX i e S h e n g L i通讯地址: ( 5 1 0 6 4 0广州市天河区 华南理工大学 西六宿舍5 4 4室)吴彤钊(收稿日期: 2 0 0 8 . 0 1 . 0 5 ) (修稿日期: 2 0 0 8 . 0 2 . 2 0 )书讯P L C 应用2 0 0 例1 1 0元 / 本( 免邮资) 汇至现场总线技术应用 2 0 0例1 1 0元 / 本( 免邮资) 汇至地址:北京海淀区皂君庙1 4号院鑫雅苑6号楼6 0 1室微计算机信息杂志收邮编: 1 0 0 0 8 1电话:0 1 0 - 6 2 1 3 2 4 3 60 1 0 - 6 2 1 9 2 6 1 6(T / F)2 4 8-
