1、第一章人机交互设计1.1人机交互定义 人机交互或称人机互动(HumanComputer Interaction或HumanMachine Interaction，简称HCI或HMI)，是一门研究电子系统与用户之间交互关系的学科。系统可以是各种各样的机器设备，也可以是计算机系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。人机交互主要研究用户与系统之间的信息交换，它包括用户到系统和系统到用户的信息交换两部分。各种各样的含处理器的机器，包括计算机，智能电视机、智能手机、传感器处理设备等。用户可以借助智能眼镜、智能手表、操纵杆、数据服装、眼动跟踪器、位置跟踪
2、器、内置心跳传感器等各类穿戴设备，以及键盘、鼠标、触摸屏等外围设备，用手势、声音、姿势或眼睛等向系统传递信息，同时，系统通过显示器、音箱、控温设备、加湿器等输出设备向用户提供信息。人机交互是一门综合学科，它与通信技术、电子技术、人工智能技术、计算机技术、商务管理、认知心理学、社会工程学、多媒体技术、虚拟现实技术等密切相关。各种学科相互交叉和渗透，并与现代智能物联网，大数据终端紧密结合在一起，是电子工程，通信工程，计算机专业，软件工程，网络安全，人工智能、经济管理等专业本科生和研究生必修课程。我们首先通过图片来形象认识一下人机交互。图(a)和(b)分别是华为生产的可接听电话的智能手表及专用于老人
3、健康智能检测紧急求助的手表。(a)(b)在智能手表的设计上，我们可以看到人机交互的体现，通过机器帮助处理人类的请求，通过触摸屏或语音麦克风等来产生人机之间的有效交流。1.2人机交互设备1.2.1交互设备发展历史人机交互的发展可以大概分为以下几个阶段：1.早期的手工作业阶段，如卡片卡带等。2.作业控制语言及交互命令语言阶段，如DOS命令。3.图形用户界面(G人机交互)阶段。4.网络用户阶段，也即在互联网时代的人机交互阶段。5.多媒体智能人机交互阶段，也即在智能处理时代的人机交互。6.意念控制阶段。在人机交互输入设备中有穿孔卡片、键盘、鼠标、手写笔、条形码、扫描仪、光电阅读机、触摸屏、语音交互设备
4、、虚拟现实交互设备等。手写输入指的是手机通过内置的触控笔在手机屏幕上手写，手机通过内部的识别系统把手写的各种字体转换为手机可识别的标准字体显示在手机屏幕上，这样可以提高输入速度。条形码(barcode)是将宽度不等的多个黑条和空白，按照一定的编码规则排列，用以表达一组信息的图形标识符。常见的条形码是由反射率相差很大的黑条(简称条)和白条(简称空)排成的平行线图案。条形码可以标出物品的生产国、制造厂家、商品名称、生产日期、图书分类号、邮件起止地点、类别、日期等许多信息，因而在商品流通、图书管理、邮政管理、银行系统等许多领域都得到广泛的应用。扫描仪是利用光电技术和数字处理技术，以扫描方式将图形或图
5、像信息转换为数字信号的装置大多数扫描仪采用的固态器件是电荷耦合器件(CCD:ChargeCoupledDevice)，用光源照射原稿，投射光线经过一组光学镜头射到CCD器件上，得到元件的颜色信息，经过模/数转换器，图象数据暂存器等，最终输入到计算机。而三维实体模型需要三维扫描仪。可以采用激光扫描。光电阅读机(考试阅卷机)是利用光电转换原理将规定格式的住处卡上的光学信息符号转换成计算机能处理的电信号的装置。信息卡通常是张纸制卡片，纸上一些确定位置印有涂写信息的矩形或圆形标志区，用铅笔等对一些标志涂黑以后，光电转换部件便能通过卡片的反光或投射能力识别这些信息，并将其转换为电信号。触摸屏作为一种特殊
6、的计算机外设，提供了一种简单、方便、自然的人机交互方式，在某些应用中，可以代替鼠标或键盘。触摸屏由触摸检测部件和触摸屏控制器组成。触摸检测部件安装在显示器屏幕前面，用于检测用户触摸位置，然后传送给触摸屏控制器。而触摸屏控制器的主要作用是处理从触摸检测部件接受到的触摸信息，并将它转换成触点坐标，再传送给CPU，它同时能接收CPU发来的命令并加以执行。按照触摸屏的工作原理和传输信息的介质的不同，可以把触摸屏分为四种：电阻式、电容感应式、红外线式以及表面声波式。语音作为一种重要的人机交互手段，日益受到人们的重视。麦克风和音箱就是最基本的语音交互设备。虚拟现实运用要求计算机可以实时显示一个三维场景，用
7、户可以在其中自有的漫游，并能操纵虚拟世界中的一些虚拟物体，具有身临其境的感觉。它包括三维空间定位设备，空间跟踪定位器，数据手套，触觉和力反馈器等。手指触觉反馈器的实现主要通过视觉、气压器、振动触觉、电子触觉和神经肌肉模拟等方法。通过传感器和天线来获得和发送手指的位置和方向的信息。输出设备包括显示器和三维显示设备，头盔式显示器以及立体显示器等。显示器是计算机的重要输出设备，是人机对话的重要工具。它的主要功能是接收主机发出的信息，经过一系列的变换，最后以光的形式将文字和图形显示出来。常见的图形显示设备有阴极射线管显示器、液晶显示器和等离子显示器。1992年，Defanti等提出了洞穴式显示环境(C
8、aveAutomationVirtualEnvironment，CAVE)，这是一种四面的沉浸式虚拟现实环境。系统在支持多用户的同时，给用户提供前所未有的沉浸感效果。对于处于系统内的用户来说，投影屏幕将分别覆盖用户的正面、左右以及底面视野，构成一个边长约3米的立方体。CAVE实现了大视觉、全景、立体且支持5-10人共享的一个虚拟环境。相对于单投影面系统来说，多投影面系统能够涵盖更多的用户视野范围，提供更好的沉浸感，所以多投影面系统也成为沉浸式虚拟环境的主要发展方向。近年来，出现了不需要佩戴立体眼镜的裸眼立体显示器，在机场等场合用于广告与宣传。裸眼显示器与需要佩戴立体立体眼镜的显示设备都利用了立
9、体视觉原理，使用户通过左、右眼观察到物体的细微差异来感知深度。两者不同之处在于裸眼立体显示器通过显示技术替代了之前通过眼镜偏振片实现的偏振滤光成像环节，将画面分割成给左、右眼观看得两个不同角度的影像，再利用视觉暂留原理，在人脑形成形成立体画面。真三维显示是三维显示的最终目标，是一种能够实现360度视角观察的三维显示技术，是现实景物的最真实再现。在真三维显示场景中，位置各异的用户无需借用其他辅助工具，就可以围绕显示区域看到与自身位置相对应的信息，在宽广的视场和视距范围内随心所欲地边走边看，符合人类对真实场景的观看需求。真三维显示技术正处于研究阶段，可分为扫描体显示(Swept-VolumeDis
10、play)和固态显示(Solud-VolumeDisplay)两大类，前者如Perspecta，后者如DephthCube。扫描体三维显示利用人类的视觉滞留原理，将一定时序范围内的基本三维面域，融合成一幅独立的三维影像。人机交互的发展进入体感交互(肢体控制)的时代，直接使用肢体动作与机器互动，而无需使用任何控制设备。包括3D虚拟现实、空间鼠标、游戏手柄等，典型的应用如跳舞毯、互动游戏机(iPad上的打网球模拟)、智能眼镜等，其中触摸技术应用最为广泛，包括医院，图书馆，银行等公共场所的触摸屏、ATM柜员机、iPad/iPhone上的各种应用等。“意念”操控，是利用人类的脑波操控。通俗地讲，人类在
11、进行各项生理活动时都在放电。心脏跳动时会产生12毫伏的电压，眼睛开闭会产生56毫伏的电压，而思考问题时大脑会产生0.21毫伏的电压。如果用科学仪器测量大脑的电位活动，那么在荧幕上就会显示出波浪一样的图形，这就是“脑波”。脑机交互(Brain-ComputerInterface，简称BCI)，是指在人脑与计算机等外部设备之间建立直接的连接通路。通过对于脑电信息的分析解读，将其进一步转化为相应的动作，这就是用“意念”操控物体的基本原理。脑机交互可以指通过大脑思维对其他设备进行控制，也可以反过来，对人脑进行控制，脑机交。主要应用于医疗领域。未来汽车可以成为人类意识的外延，汽车可以与人脑直接相连。利用
12、脑机交互技术，可以获取到很多现在无法得到的驾驶员的信息，而这些信息如果能够传递给汽车，那么驾驶的体验将会得到很大的提升。脑机交互技术涵盖生物科学(大脑结构、神经元，皮层、脑电信号采集)、认识科学、信息科学、纳米科学、人工智能等。目前，硅谷创业公司Neurosky已经将庞大的脑波监测设备缩减至一个头戴式耳机的大小，并且仅仅需要一个金属触点就可以实现对于脑波的测量，这种便携式的设备也使脑波技术的大规模民用化成为可能。凭借这方面的技术优势，这家成立仅仅7年的公司迅速成长为行业内的领军企业。2019年5月份，MIT(美国麻省理工学院)的三位科学家发表了一份利用深度学习进行脑机接口研究的成果，他们成功地
13、用自己创建的人工神经网络控制了猴子大脑皮层的神经活动。研究者利用从神经网络模型中获得的信息创建了特定的非自然图像，然后将这些图像展示给实验中的猴子，结果发现，这些图像可以强烈激活他们选择的特定脑神经元。该实验表明，人类利用自己创建的人工神经系统成功控制真实神经系统的活动。以上两种脑机接口研究都属于植入式的。这种方式虽然信号质量较高，但也存在一些问题，如容易引发免疫反应和愈伤组织(疤痕)，进而导致信号质量的衰退甚至消失。因此，如果能借助非侵入式方式(如脑电图)创建脑机接口可能会更加安全。“非植入式”因其操作相对简便而受到更多研发团队的青睐，主要有脑电图EEG、脑磁图MEG、近红外光谱NIRS、功
14、能磁共振成像fMRI等研究方式，一些商用脑机交互产品已经被开发和出现在市场上。中国在脑机交互研究方面也有所建树，2016年10月，由天津大学神经工程团队负责设计研发的在轨脑机交互及脑力负荷、视功能等神经工效测试系统随着“天宫二号”进入太空进行了国内首次太空脑机交互实验。近年来，强大的深度学习技术也被应用到脑机接口研究中，脑机接口也成为深度学习研究者的另一重要方向。1.2.2交互设备工业应用把语音交互、体感交互、图像交互等整合应用到现实场景中。在工业物联网中，随着计算机以及控制技术的发展，传统的工业控制技术已经逐渐地被智能控制技术所替代，智能化工业控制系统推动企业持续创新发展。国内的自动化产业中
15、原本不用人机界面的行业也开始引入新设备，它能更好地反映出设备和流程的状态，并通过视觉和触摸的效果，带给客户更直观的感受。有些机械行业，比如说机床、纺织机械、电子设备等行业，在国内已经发展有几十年的历史了，相对来说属于比较成熟的行业，从长远看，这些行业还存在着设备升级换代的需求。人机界面的未来发展趋势将朝平台嵌入化、品牌民族化、设备智能化、界面时尚化、通讯网络化和节能环保化方向发展。智能工业是将具有环境感知能力的各类终端、基于泛在技术的计算模式、移动通信等不断融入到工业生产的各个环节，大幅提高制造效率，改善产品质量，降低产品成本和资源消耗，将传统工业提升到智能化的新阶段。传统的工业自动化控制系统
16、主要包括3个层次，分别是设备层(devicelayer)、控制层(controllayer)、以及信息层(informationlayer)。自动化业者长期以来都朝著信息化目标前进，在物联网的大力发展下，传统的C/S(Client/Server)架构可以转换成B/S(Browser/Server)架构，在生产制造、智能建筑、新能源、环境监控、以及设备控制领域有更广泛的应用。工业化的基础是自动化，自动化领域发展了近百年，理论，实践都已经非常完善了。特别是随着现代大型工业生产自动化的不断兴起和过程控制要求的日益复杂营运而生的分布式控制系统(DCS)，更是计算机技术，系统控制技术、网络通讯技术和多媒
17、体技术结合的产物。如今，对图像、语音信号等大数据量、高速率传输的要求，催生了以太网和控制网络的结合，网络化浪潮又将嵌入式技术、多标准工业控制网络互联、无线技术等新兴技术融合进来，从而拓展了工业控制的发展空间，带来新的发展机遇，智能化的工业控制正迅猛成长。人机交互是计算机科学和认知心理学相结合的产物，同时还涉及到人体工效学、社会学、生理学、医学、语言学、哲学等多种学科，是一门综合性很强的科学，因此对研究人员的知识结构要求很高，需要有着深厚工业自动化经验，对人机交互界面有独到理解。智能型人机交互产品带给众多产业巨大的机会和挑战，一方面高性能的嵌入式处理器如单核到多核的高端ARM处理器和智能化的操作
18、系统如Android已经渗透到人们生活的各个方面，与之相伴的是工业类智能产品也越来越需要更好的用户体验。工业互联网的冰山一角刚刚打开，相信新一代的基于新型操作系统的人机交互产品必然带给用户非凡的体验，实现巨大的价值。1.2.3人机交互设备市场人机交互设备市场规模增长前景广阔，未来，人机交互技术的发展将从“能听会说”的语音应用走向“能理解会思考”的人工智能方向。人机交互方式从最传统的打孔机演进到如今的触控屏，越来越拟人化，在半导体技术的帮助下，人机交互理念从“人适应计算机”进化到“计算机适应人”，人们要求通过视觉、听觉、触觉、嗅觉，以及形体、手势或口令，参与到信息处理的环境中去，从而取得身临其境
19、的体验。万物互联是人机交互领域前所未有的重大机遇。基于生物特征的识别技术、基于环境的情境识别技术，基于极致体验的全方面感知技术等，将在全球市场呈现强劲的需求趋势。人机交互变革将是继个人计算机、互联网、云计算、大数据之后的第五次信息技术领域的重大技术革命。1.2.4集成人机交互和ADAS系统高级驾驶辅助系统ADAS(AdvancedDrivingAssistantSystem)是利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、单双目摄像头以及卫星导航)，在汽车行驶过程中随时感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让
20、驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。近年来ADAS市场增长迅速，原来这类系统局限于高端市场，而现在正在进入中端市场，与此同时，许多低技术应用在入门级乘用车领域更加常见，经过改进的新型传感器技术也在为系统布署创造新的机会与策略。采用ADAS有什么好处？根据目前交通事故分析，有将近90%是驾驶员本身问题造成，其中76%是驾驶员的误操作等引起的，还有将近14%由驾驶员生理和身体因素造成，剩下10%是路面和车辆缺陷引起的。由此得到，将近有97%-98%的交通事故因素其实都可以避免，而ADAS可以有效地规避这些问题。2018年全球ADAS在的人机交互显示(包含抬头显示、组合仪表
21、、中控显示系统)市场规模将近140亿美元，其未来市场需求将非常大。从全球来看，欧洲汽车供应体系很早就完成了演变，普及率已经达到一定水平，而亚太将会是未来发展的重点区域，发展速度也将越来越快。ADAS发展重点有三个：一是安全性，汽车产业首先注重安全功能，安全始终放在第一位；二是易用性，在安全之外，HMI是人和机器交互的接口，设计要注重易用性，方便客户操作，避免一些误操作等；三是功能性，即HMI要做到更多娱乐功能以及其他丰富功能，让客户真正享受HMI所带来的便利。使用HMI工具把摄像头和实际场景结合，再把HMI里面的路况设置信息叠加到实时路面的过程。具体来说，摄像头和传感器网，全球定位系统负责实时
22、采集信息，汇集，经过HMI里面的渲染，把实时信息叠加到路面上来，使驾驶员在驾驶车辆的时候，可以实时注意路面情况，减少和避免交通事故。HMI的软件开发工具目前有CGISTUDIO，它的三个特点分别是：1、开源。绝大部分代码是开放的，客户可以根据代码做个性化设计自行开发。与此同时，如果客户无需个性化设计也可以利用内置的控件库资源做基础设计，非常易于设计师操作。2、易用。在开放代码的同时，有很多控件集成，这些控件可以完成大部分工作。3、性能优异。工具有非常优秀的压缩算法，从低端的SoC到高端的SoC芯片都可以有效支持，特别是在低端内存资源有限的情况下，可以有效利用内存资源进行匹配，以达到更好的性能。
23、1.3人机交互研究内容人机交互的主要研究内容可以用图概略表达：从设计角度来划分人机交互研究内容，则包括界面模型，可用性评估，多通道交互等。1.3.1人机交互界面表示模型与设计方法一个交互界面的优劣，直接影响到软件开发的成败。友好的人机交互界面的开发离不开好的交互模型与设计方法。因此，研究人机交互界面的表示模型与设计方法是人机交互的重要研究内容之一。使用人机交互界面的表示模型和形式化的设计语言来分析和表达用户界面的功能以及用户和系统之间的交互情况，并且界面表示模型能方便映射到实际的设计实现。人机交互设计要求是对话独立性：在系统设计和实现时，强调人机交互界面和业务的分离，即界面和系统的业务或者数据
24、模型不互相影响，彼此独立。强调对话独立性，可以更好实现系统的扩充和重用和语义反馈：实时反馈界面的状态和用户操作的细节，以便用户能够清楚的了解当前操作的过程。人机界面描述语言一般分为：命令式语言和陈述式语言。命令式语言要求编程人员明确的指定如何执行任务，陈述性语言要求编程人员只需指定任务要做什么，陈述性语言要比命令式的语言更为抽象。几种常见的陈述性语言：用户界面标记语言(UIML)、扩展界面标记语言(XIML)、XML用户界面语言XUL。软件结构将详细设计的结果-界面的表示模型转换成能在硬件上运行的交互系统，实现交互系统的开发环境提供了有效的转换手段，把概要设计和应用规则转换成可以执行的软件，开
25、发环境为程序员提供了不同层次上的支持。窗口系统：提供设备独立性和资源共享，用户界面管理系统：抽象层次更高的支持交互系统实现的开发环境。支持复杂人机交互系统的实现的软件体系结构有E-O模型、Seeheim模型和智能体。1.3.2可用性分析与评估可用性是人机交互系统的重要内容，它关系到人机交互能否达到用户期待的目标，以及实现这一目标的效率与便捷性。对人机交互系统的可用性分析与评估的研究主要涉及到支持可用性的设计原则和可用性的评估方法等。可用性是指特定的用户在特定的环境下使用产品并达到特定目标的效力、效率和满意的程度。可用性的设计流程是了解用户，竞争性分析，设定可用性目标，用户参与的设计，迭代设计和
26、产品发布后的反馈改进工作。支持可用性的设计原则包括可学习性：交互系统能否让新手学会如何使用系统，以及如何达到最佳实用效果。支持可学习性的设计原则有可预见性、同步性、熟悉性、通用性、一致性；灵活性：用户与系统交流信息方式的多样性，主要表现在可定制性、对话主动性、多线程、可互换性、可替换性；鲁棒性：能否成功达到交互目标；可观察性、可恢复性、响应性、任务规范性等。可用性的评估方法包括用户模型法、启发式评估、认知性遍历、用户测试和用户调查法等。1.3.3多通道交互技术研究视觉、听觉、触觉和力觉等多通道信息的融合理论和方法，使用户可以使用语音、手势、眼神、表情等自然的交互方式与计算机系统进行通信。多通道
27、交互主要研究多通道交互界面的表示模型、多通道交互界面的评估方法以及多通道信息的融合等。其中，多通道融合是多通道用户界面研究的重点和难点。1.3.4认识与智能用户界面智能用户界面(IntelligentUserInterface)的最终目标是使人机交互和人人交互一样自然、方便。上下文感知、三维输入、语音识别、手写识别、自然语言理解等都是认识与智能用户界面解决的重要问题。1.3.5群件群件是指为群组协同工作提供计算机支持的协作环境，主要涉及个人或群组间的信息传递、群组内的信息共享、业务过程自动化与协调以及人和过程之间的交互活动等。目前，与人机交互技术相关的研究内容主要包括群件系统的体系结构、计算机
28、支持的交流与共享信息的方式、交流中的决策支持工具、应用程序共享以及同步实现方法等内容。1.3.6Web设计重点研究Web界面的信息交互模型和结构，Web界面设计的基本思想和原则，Web界面设计的工具和技术，以及Web界面设计的可用性分析与评估方法等内容。1.3.7移动界面设计移动计算(MobileComputing)、普适计算(UbiquitousComputing)等技术对人机交互技术提出了更高的要求，面向移动应用的界面设计已成为人机交互技术研究的一个重要内容。由于移动设备的便携性、位置不固定性、计算能力有限性以及无线网络的低带宽高延迟等诸多的限制，移动界面的设计方法、移动界面可用性与评估原
29、则、移动界面导航技术以及移动界面的实现技术和开发工具，都是当前人机交互技术的研究热点。1.3.8隐私安全2014年4月15日，习近平主席首次提出了“总体国家安全观”战略。作为习近平新时代中国特色社会主义理论的重要组成部分，总体国家安全观将互联网安全纳入到总体国家安全框架中，体现了党中央对互联网安全工作的高度重视。在全面深化改革的新时代，不论是国家安全、人民安全、经济安全，军事安全等方面都对互联网安全有着迫切的需求。从20世纪80年代互联网进入中国，互联网产业的发展已成为我国新型工业化和“知识经济”的重要支撑力量。互联网缩短了时空距离，跨越了国家、民族、风俗、文化、信仰的边界，使得地球真正成为一
30、个高速互联互通共享的村落。互联网飞速发展的同时，互联网安全形势不容乐观，恶意软件肆意扩散，黑客利用漏洞后门窃取了大量的网络私密数据及个人隐私，网络犯罪的形式和方式多样化，对社会产生的恶劣影响和经济损失是难以估量的。现阶段中国互联网安全现状，与新时代的发展需求，与实现中华民族伟大复兴的要求，与“网络强国”的战略的具体要求还有较大进步空间。互联网发展需求，以及由此生发出来的对互联网安全治理的需求仍不匹配，因此需要在总体国家安全观的指引下，对互联网安全治理这个问题强化研究工作。实现互联网安全治理能力现代化，有助于在激烈的国际竞争中赢得话语权，更好地造福人民，为推动社会进步和人类文明发展做出卓越贡献。
31、互联网早已渗透到现实生活的各个方面，例如网上政府、网上商务、网络购物、网络文化、网络即时通讯等。互联网安全包括了基础网络软硬件安全、运行平稳、数据完整和内容安全。互联网安全是国家构建网络空间治理新秩序的先决条件，只有确保互联网安全，才具备实现互联网治理的可能性和实施的空间。2015年在第二届世界互联网大会上，习近平就互联网治理做出了专门论述，“尊重网络主权，维护和平安全，促进开放合作，构建良好秩序”。习近平主席指出维护互联网安全不应有双重标准。确保互联网安全，充分发挥其积极因素、避免其消极因素，是一个重要的公共管理问题。互联网安全治理能力是国际治理能力竞争的组成部分习近平主席提出的总体国际安全
32、观中的国家安全，涵盖了传统安全和非传统安全。互联网安全的治理主体是由现实生活中的互联网用户、政府、企业和社会组织等多个要素共同作用。互联网安全治理能力反映了一个国家信息化的水平，折射了一个国家治理能力、综合国力和软实力。互联网是否安全、平稳、自主、可控，与一个国家互联网安全治理的能力，甚至是国家治理能力戚戚相关，决定了一个国家在当代竞争激烈的国际地位和治理能力水平。互联网治理体系中互联网安全治理是非常重要的一个组成部分，确保互联网安全，全面推进互联网治理体系和治理能力现代化，对于中国参与全球治理体系变革、实现中华民族伟大复兴具有重大意义。1.4人机交互关键技术人机交互的类型有基本交互，图形交互
33、，语音交互，体感交互，触控交互，意念交互，混合交互等。其中基本交互技术包括定位、笔划、定值、选择、字符串等；图形交互包括二位和三维图形交互，二维图形交互包括几何约束、引力场、拖动、橡皮筋技术、操作杆技术等也包括人脸识别，表情识别等；语音交互包括对人声和机器鸣笛等的自动识别；体感交互包括手势，指纹，眼动，脉搏，等；触控交互包括触点检测和定位跟踪等技术；意念交互包括脑电波识别和处理等。混合交互技术是上述几种交互的综合应用。触控技术是目前最为成功的人机交互技术，可穿戴设备、5G等新技术的应用，可以让人机交互技术拥有更广泛的施展领域。在人机交互技术方面，目前业界仍在进行多方面的探索和尝试，但生物识别技
34、术和手势控制技术是目前最值得期待的。生物识别是以人的生命体征作为识别依据，包括指纹、虹膜、面部，乃至眼睛当中的血管，它们都有可能帮助智能终端设备验证用户本人的身份。当云服务被人们更加广泛地采用时，生物识别技术将帮助我们更方便和安全地登录到云端账号。在不久的将来，生物识别技术将使我们不需要再随身携带信用卡、钱包或者现金这些东西，所有的信息都将与我们自身的生命体征绑定。1.4.1人机交互中的图形技术1950年，MIT旋风一号(WhirlwindI)计算机的图形显示器，类似于示波器的CRT来显示简单图形。CRT的出现为计算机生成和显示图形提供了可能；50年代末期，MIT林肯实验室，在Whirlwin
35、d上开发SAGE空中防御系统，通过光笔在屏幕上指点与系统交互。标志着交互式图形技术的诞生；1962年MIT林肯室验室的博士论文：“Sketchpad：一个人机通信的图形系统”确定了交互图形学作为一个学科分支(提出基本交互技术、图元分层表示概念及数据结构等)；60年代MIT、BellLab、通用汽车公司、剑桥大学开展大规模的研究，计算机图形学被确立并得到迅速发展；70年代进入技术实用化，光栅图形学迅速发展，区域填充、裁剪、消隐等基本图形概念及相应算法纷纷诞生，图形软件逐渐标准化。1974年，ACM成立图形标准化委员会，制定“核心图形系统”(CoreGraphicsSystem)；ISO发布CGI
36、、CGM、GKS(GraphicsKernelSystem)和PHIGS(ProgrammersHierarchicalInteractiveGraphicssystem)；真实感图形学产生。1975年，Phong提出了著名的简单光照模型-Phong模型；1980年Whitted提出了一个光透视模型，第一次给出光线跟踪算法的范例；1984年，美国Cornell大学和日本广岛大学的学者分别将热辐射工程中的辐射度方法引入到计算机图形学。图形显示器是计算机图形学中关键设备；60年代中期：画线显示器(亦称矢量显示器)的缺点是需要刷新，设备昂贵，限制普及；60年代后期存储管式显示器的缺点是图形不具有动态
37、修改功能，不适合交互；70年代初，出现刷新式光栅扫描显示器，以点阵形式表示图形，采用专用缓冲区存放点阵，由视频控制器负责刷新扫描，极大推动了交互式图形技术的发展。第一个官方图形标准是1977年提出的GKS(GraphicsKernelSystem)和PHIGS(ProgrammersHierarchicalInteractiveGraphicssystem)。广泛应用于工业界的非官方图形软件标准有DirectX(MS)，Xlib(X-Window系统)，OpenGL(SGI)，Postscript(Adobe)等。计算机图形学是工业界最广泛、最活跃的应用领域，包括飞机、汽车、船舶的外形的设计；
38、发电厂、化工厂等的布局；土木工程、建筑物的设计；电子线路、电子器件的设计；网络环境下进行异地异构系统的协同设计等。现代人机交互产品设计不再是设计领域内孤立的技术问题，而是综合了各个相关领域、相关过程、相关技术资源和相关组织形式的系统化工程；从设计开始就考虑产品生命周期的全部因素，以达到快速响应市场需求的目的。协同设计使企业生产的时空观发生了根本的变化；异地设计、异地制造、异地装配为企业在市场竞争中赢得了宝贵的时间；基于工程图纸的三维形体重建是从二维信息中提取三维信息，通过信息进行分类、综合等处理，在三维空间中重新构造出二维信息对应的三维形体，恢复形体的点、线、面及其拓扑关系，从而实现形体的重建
39、，可以做装配件的干涉检查、以及有限元分析、仿真、加工等后续操作，代表CAD技术的发展方向；海量数据使得人们对数据的分析和处理变得越来越难，用图形表示数据的迫切性与日俱增。当前研究热点包括造型技术，规则形体的欧氏几何方法和不规则形体的分形几何方法、粒子系统、纹理映射、实体造型、基于物理的造型、基于图像的造型、真实感图形绘制技术、复杂模型的简化及多分辨率表示算法、可见性检测算法、纹理代替特殊复杂模型、模型的几何压缩算法、图像生成技术与图像处理的结合(可视化)等。图形技术与计算机网络技术的紧密结合可衍生出远程医疗与诊断、远程导航与维修和远程教育等学科。虚拟现实技术也将促进计算机图形学的进步；包括沉浸
40、，交互和构想，全方位投入，身临其景；响应用户的各种输入手势、语言命令、身体动作；生动形象地反映设计者的思想等。1.4.2人机交互设计要点传统人机交互中，阅读是人机交互中经常发生的活动之一，在阅读过程中也存在一些人类视觉感知的特点和规律。因此，除了在图形界面设计中应注意一些有关视觉感知的问题，在进行交互界面设计时，也应对文字的排版和显示加以重视，以便提高阅读的有效性。阅读的过程可以描述为：界面上文字的形状被人眼感知后，被编码成相关的内容语言表示，最后语言在人脑中被解释成有语法和语义的单词或句子。沟通表明，912号的标准字体(英文)更易于识别，页面的宽度在58132mm之间阅读效果最佳；在明亮的背
41、景下显示灰暗的文字比在灰暗的背景下显示明亮的问题更能提高人的视敏度，增强文字的可读性。这些都为交互界面设计中文字的界面显示设计提供了依据。再比如听觉，人类能够听到频率在20Hz20kHz之间的声音，其中在10004000Hz范围内听觉的感受性最高。500Hz以下和5000Hz以上的声音，强度很大时才能被听到。音频超过140dB时，所引起的不再是听觉而是痛觉。人可以辨认的语音频率范围是2605600Hz，但电话只传送3003000Hz，这已足够能让人们挺清楚语言的内容。声音的解释是与语言的理解联系在一起，都是在大脑的听觉皮层中完成的。为了解释声音，听觉系统必须把输入分为三类：噪声和可以忽略的不重
42、要的声音；被赋予意义的非语言声音(如动物的叫声)；用来组成语言的有意义的声音。实验表明，人的身体的各个部分对触觉的敏感程度是不同的，如人的手指的触觉敏感度是前臂的触觉敏感度的10倍。对人身体各部位触觉敏感程度的了解有助于更好的设计基于触觉的交互设备。触觉感知的另一个方面是动觉，即对人的躯干和四肢的位置的感觉。感受器同样分成三种快速适应感觉器，用来感受四肢在某个方向的运动；慢速适应感受器，用来感受身体的移动和静态位置；这些感觉不仅影响人的舒适感，而且影响人的行为性能。因此如何用精准的数字和图形来表示人的各个感应器官的度量值并对应于相应的传感器设计是人机交互的设计要点。1.4.3认知过程与交互设计
43、原则认知是人们在进行日常活动时发生于头脑中的事情，它涉及认知处理，如思维、记忆、学习、幻想、决策、看、读、写和交谈等。诺曼把它们划分为两个模式：经验认知和思维认知。认知涉及到多个特定类型的过程，包括感知和识别、注意、记忆、问题解决、语言处理等。许多认知过程是相互依赖的，一个活动往往同时涉及多个不同的过程。例如，人们在用软件进行动画设计时就涉及感知和识别、注意等过程。记忆作为一种基本的心理过程，是和其他心理活动密切联系着的。在知觉中，人的经验有重要的作用，没有记忆的参与，人就不能分辨和确认周围的事物。在解决复杂问题时，由记忆提供的知识经验起着重大的作用。记忆就是回忆各种知识以便采取适当的行动。记
44、忆过程有三个环节：识记、保持、再认和回忆。识记相当于信息的输入和编码过程，也就是使不同感官输入的信息，经过编码而成为头脑可接受的形式；保持相当于信息的储存，即信息在头脑中被再加工整理，使其成为有序地组织结构，以便储存；再认和回忆相当于信息的提取，编码越完善、组织越有序，提取也就越容易，反之，越提取困难。这时就需要一个过滤处理，以决定需要进一步处理和记住的信息。过滤过程，首先是编码处理，它决定要关注环境中的哪一个信息以及如何解释它。编码处理能够影响人们日后能否回忆起这个信息，越是关注某件事情，对它进行越多的处理，人们就越可能记住它。信息编码的上下文也会影响记忆的效果。人们有时需要依靠某种联想才能
45、回忆起某件事情，触景生情就是信息编码的上下文在起作用。另一个记忆现象是：人们识别事物的能力要远胜于回忆情境的能力。而且，某些类型的信息要比其他类型的信息更容易识别。如人们非常擅长识别记忆图片，即使以前只是匆匆浏览过。图形用户界面为用户提供了可视化的操作选项，用户可浏览并从中找出需要执行的操作，因而不再需要牢记数百条或上千条命令名称。同样，Web浏览器提供了“书签”和“收藏”功能，用于把浏览过的一些URL组织成为可视化清单。计算机的广泛应用为人们带来了极大方便，同时也带来了众多的记忆负担。“文件管理”是一个令计算机用户日益头疼的问题。人们每天创建新文件、下载新图像和影视文件、存储电子邮件和附件时
46、，带来的一个主要问题是，日后如何找到所需的文件？文件命名是最常用的编码方式，但是要回想起以前创建的文件名并不容易，尤其是在成千上万个文件名的情况下。另一个记忆负担的例子是日益增多的“口令”。计算机提供的各种服务需要进行身份的认证，如用户登录计算机系统，检查E-mail信箱或从ATM机提款等，都要求用户输入自己的口令。如何利用人的记忆特点，减轻人的记忆负担是设计交互系统时需要重点解决的问题。英国心理学家建议把信息的检索分为两个过程：先是定向记忆，后是扫描识别。前一个过程指的是使记忆的信息尽可能贴近描述所需检索的信息。如定性回忆失败，无法获得所需信息，则进入下一个过程，即浏览各个文件目录。根据这一
47、理论，一个好的文件管理系统应允许用户使用自己的记忆尽可能缩小搜索空间，并在界面上显示这个搜索空间，这样能够有效地帮助用户查找需要的内容。交互系统设计中最重要的就是要建立一个关于交互的概念模型。设计的首要任务就是开发明确、具体的概念模型。一个概念模型的优劣，直接影响交互系统对用户的友好程度。对一个概念模型的评价，主要看是否满足用户的需要，是否容易为用户所理解。因此设计开发一个概念模型的关键过程应包括两个阶段：首先是了解用户任务需求，然后选择交互方式，并决定采用何种交互形式(是使用菜单系统，还是使用语音输入或命令式的系统)。同软件系统的迭代开发过程一样，一个完整的概念模型也是一步步充实起来的，我们
48、可以使用各种方法，包括草拟构思，使用情节串联法描述可能的场景和设计原型系统等，通过不断地与用户交流，逐步完善交互系统的概念模型。一个系统能够做到让用户感到满意，除了在设计开始阶段建立一个好的概念模型以外，还应该考虑如何根据人的认知特点，提供多种手段，使用户能尽快理解关于系统概念模型的构思。这是一个非常关键的问题。诺曼提出了一个用于说明“设计概念模型”与“用户理解模型”之间关系的框架。本质上，它包括三个相互作用的主体：设计师、用户和系统，而在它们背后就是相互联系的三个概念模型：(1)设计模型设计师设想的模型，描述系统如何运行。(2)系统映像系统实际如何运行。(3)用户模型用户如何理解系统的运行。
49、在理想情况下，这三个模型应能互相映射，用户通过与系统映像相交互，就应该能按照设计师的意图(体现在系统映像中)去执行任务。但是，若系统映像不能明确地向用户展示设计模型，那么用户很可能无法正确理解系统，因此在使用系统时不但效率低，而且易出错。从人们不同的认知特点，构成以下三种用户如何理解的系统概念模型。1.思维模型人们在学习和使用系统的过程中，积累了有关如何使用系统的知识，而且在一定程度上，也积累了有关系统如何工作的知识。这两个类型的知识就是通常所谓的用户“思维模型”。若用户已经有了一个关于交互式系统的完整的思维模型，他们在使用交互式产品时，就会使用这个思维模型进行推理，找出执行任务的方法。另外，
50、当系统发生异常或者用户遇到不熟悉的系统时，用户也将使用这个思维模型来考虑如何解决问题。人们对于系统以及它如何工作了解得越多，他们的思维模型就越完善。但在日常生活中，存在很多由于思维模式问题影响人们行动的事例。研究表明，人们所具备的关于交互式系统如何工作的思维模式通常是不完整的、混乱的，或者是基于不恰当的类比，或不正确的直觉。用户有时在操作系统时之所以感觉沮丧，就是因为没有正确的思维模型来指导他们的行为，得不到他们所预期的结果。在理想情况下，用户的思维模型应与设计人员开发的概念模型相符。提供好的培训是帮助用户达到这个目标的方法之一。但是，许多人不愿意花很多时间去学习系统如何工作，尤其不愿意阅读手
