1、自然人机交互的智能输入喻纯，清华计算机系2020.2.12智源论坛 Live | 青年科学家线上报告会报报告告大大纲纲 个人情况 已有研究基础 拟研究内容个个人人情情况况主要学历2006.92012.6清华大学计算机系博士2002.92006.6北京邮电大学计算机系学士2016.12至今清华大学副研究员2018.42019.3华盛顿大学访问学者2014.72016.12清华大学助理研究员2012.72014.6清华大学博士后工作经历论论文文情情况况第第一一作作者者或或通通讯讯作作者者在在CCF A类类会会议议和和期期刊刊上上发发表表论论文文20 篇篇 2017-2020在在CSRanking的
2、的HCI方方向向上上排排世世界界第第1 8 次次获获得得国国际际会会议议最最佳佳论论文文（提提名名）奖奖，CCF A类类ACM CHI等等获获得得奖奖励励 2019年年电电子子学学会会科科技技进进步步一一等等奖奖(排排名名2） 2019年年阿阿里里达达摩摩院院青青橙橙奖奖 2017年年CCF青青年年人人才才托托举举计计划划 2016年年CCF-Intel 提提升升项项目目学学术术兼兼职职 2020年年起起中中国国计计算算机机学学会会人人机机交交互互专专委委会会秘秘书书长长 2019年年至至今今ACM SigCHI China（中中国国分分会会）副副主主席席 2017年年至至今今 中中国国图图形
3、形图图像像学学学学会会人人机机交交互互专专委委会会副副主主任任 2018年年至至今今CCF A类类会会议议ACM CHI 程程序序委委员员会会委委员员http:/csrankings.org/研研究究方方向向：人人机机交交互互年代-计算模式计算机数接口交互范式/支撑理论1960主机计算不足千台键盘CLI/PL,GOMS1990个人计算数千万台键鼠GUI/DM,FittsLaw,HIP2010移动计算数十亿台触屏GUI/DM2010-普适计算XXX亿台多模NUI/?自自然然人人机机交交互互的的学学术术研研究究 以用户为中心，研究人和计算机通信的交叉领域 科学问题：自然交互的意图理解 ACM SI
4、GCHI 成立于1982年 ACM CHI Conference on Human Factors in Computing Systems (CHI) ACMSymposiumonUserInterfaceSoftwareandTechnology(UIST) ACM International Joint Conference on Pervasive and UbiquitousComputing (Ubicomp)自自然然交交互互计计算算框框架架和和研研究究内内容容7动作表达G交互意图理解 I模态选择MAction ExecutionIntention UnderstandingMod
5、ality SelectionIntention计算框架：自然交互的意图的表达和理解感知1、高可用自然交互动作输入和智能感知2、自然动作表达交互意图的编码映射优化3、面向非精确自然动作输入的交互意图理解研究内容自自然然交交互互计计算算框框架架和和研研究究内内容容8动作表达G交互意图理解 I模态选择MAction ExecutionIntention UnderstandingModality SelectionIntention计算框架：自然交互的意图的表达和理解感知1、高可用自然交互动作输入和智能感知基基于于运运动动参参数数时时序序模模型型的的触触摸摸点点击击判判断断方方法法智智能能手手机机
6、上上的的多多模模态态自自然然输输入入动动作作感感知知增增强强语语音音输输入入唤唤醒醒和和打打断断的的自自然然手手势势感感知知研究内容基基于于运运动动参参数数时时序序模模型型的的触触摸摸点点击击判判断断方方法法 全面屏防误触算法（基础体验）效率 运算时间1ms 内存 握姿 Step 2: 握姿 + 电容 = 误触9基基于于运运动动参参数数时时序序模模型型的的触触摸摸点点击击判判断断方方法法Yizheng Gu,ChunYu,Zhipeng Li,Weiqi Li,Shuchang Xu,Xiaoying Wei,Yuanchun Shi:AccurateandLow-LatencySensing
7、ofTouchContactonAnySurfacewithFinger-WornIMUSensor.UIST2019:1059-1070智智能能手手机机上上多多模模态态自自然然输输入入动动作作感感知知利用智能手机内置传感器传感多模态输入智智能能手手机机上上的的全全手手型型感感知知与与交交互互ChunYu,Xiaoying Wei,Shubh Vachher,YueQin,ChenLiang,Yueting Weng,Yizheng Gu,Yuanchun Shi:HandSee:EnablingFullHandInteractiononSmartphonewithFrontCamera-ba
8、sedStereoVision.CHI2019:705基基于于手手机机前前置置摄摄像像头头的的唇唇读读命命令令输输入入Ke Sun,ChunYu,Weinan Shi,LanLiu,Yuanchun Shi:Lip-Interact:ImprovingMobileDeviceInteractionwithSilentSpeechCommands.UIST2018:581-593增增强强语语音音输输入入的的自自然然手手势势感感知知捂嘴唤醒UIST 2019靠近唤醒IMWUT 2019自然语音唤醒对话打断皱眉打断 CHI 2020捂嘴唤醒 PrivateTalkYukang Yan,ChunYu,
9、Yingtian Shi,Minxing Xie:PrivateTalk:ActivatingVoiceInputwithHand-On-MouthGestureDetectedbyBluetoothEarphones.UIST2019:1013-1020自自然然交交互互计计算算框框架架和和研研究究内内容容16动作表达G交互意图理解 I模态选择MAction ExecutionIntention UnderstandingModality SelectionIntention计算框架：自然交互的意图的表达和理解2、自然动作表达交互意图的编码映射优化基基于于图图形形界界面面空空间间动动态态编编码
10、码的的输输入入效效率率优优化化利利用用经经验验的的动动作作- -意意图图映映射射直直观观性性优优化化感知研究内容基基于于图图形形界界面面空空间间动动态态编编码码的的输输入入效效率率优优化化XinYi,ChunYu,Weijie Xu,Xiaojun Bi,Yuanchun Shi:COMPASS:RotationalKeyboardonNon-TouchSmartwatches.CHI2017:705-715基基于于图图形形界界面面空空间间动动态态编编码码的的输输入入效效率率优优化化QWERTYUIOPASDFGHJKLZXCVBNMF0,0,0F6,0,0F6,3,3F6,6,6F10,10
11、,10第一步：估计单步信息量第二步：动态划分布局信息量效率成本动态规划最优边界上的解（ Paretofront）利利用用经经验验的的动动作作- -意意图图映映射射直直观观性性优优化化ChunYu,Ke Sun,Mingyuan Zhong,Xincheng Li,Peijun Zhao,Yuanchun Shi:One-DimensionalHandwriting:InputtingLettersandWordsonSmartGlasses.CHI2016:71-82利利用用经经验验的的动动作作- -意意图图映映射射直直观观性性优优化化目标虚拟抓取 CHI 2018头动手势命令集 IMWUT
12、2018自自然然交交互互计计算算框框架架和和研研究究内内容容21动作表达G交互意图理解 I模态选择MAction ExecutionIntention UnderstandingModality SelectionIntention计算框架：自然交互的意图的表达和理解3、面向非精确自然动作输入的交互意图理解 非精确指点输入能力建模和空间目标布局 基于手指点击能力精细建模的文本输入 基于连续运动控制时空模型的意图推理方法感知研究内容非非精精确确指指点点输输入入能能力力建建模模和和空空间间目目标标布布局局VR中的盲抓取 CHI 2018dx+2 = 4.328+0.554*dxR = 0.31dx
13、+2 = 2.214+0.0939*dxR = 0.01no-PSPS feedbackdx+2(pixels)-40-30-20-1001020304050dx(pixels)-60 -50 -40 -30 -20 -100102030405060-60 -50 -40 -30 -20 -100102030405060 70点击后反馈的点击精度 CHI 2018非非精精确确指指点点输输入入能能力力建建模模和和空空间间目目标标布布局局Yiqin Lu, ChunYu,Yuanchun Shi:InvestigatingBubbleMechanismforRay-castingtoImprove
14、3DTargetAcquisitioninVirtualReality.IEEE VR 2020优化目标:Max P(word|input)Max P(input|word)*P(word)Bayesian InferenceLanguage ModelInput ModelP(x, y|character)P(input|word)!?24基基于于手手指指点点击击能能力力精精细细建建模模的的文文本本输输入入XinYi, ChunYu,Weinan Shi,Yuanchun Shi.Isittoosmall?:Investigatingtheperformancesandpreferences
15、ofuserswhentypingontinyQWERTYkeyboards.IJHCS2017P(x, y|character)25基基于于手手指指点点击击能能力力精精细细建建模模的的文文本本输输入入26盲输入BlindTypeYiqin Lu, ChunYu,XinYi,Yuanchun Shi,Shendong Zhao.BlindType:Eyes-FreeTextEntryonHandheldTouchpadbyLeveragingThumbsMuscleMemory. Ubicomp 2017P(xi,yi|characteri, characteri-1,xi-1,yi-1)无可
16、视的键盘输入平平板板上上的的十十指指盲盲输输入入Weinan Shi,ChunYu,XinYi,ZhenLi,Yuanchun Shi:TOAST:Ten-FingerEyes-FreeTypingonTouchableSurfaces.IMWUT2(1):33:1-33:23(2018)基基于于连连续续运运动动控控制制时时空空模模型型的的意意图图推推理理方方法法XinYi,ChunYu,Mingrui Zhang,Sida Gao,Ke Sun,Yuanchun Shi:ATK:EnablingTen-FingerFreehandTypinginAirBasedon3DHandTrackin
17、gData.UIST2015:539-548单指运动模型多指协同运动空中打字UIST 2015 (CCF B)29基基于于连连续续运运动动控控制制时时空空模模型型的的意意图图推推理理方方法法基基于于连连续续运运动动控控制制时时空空模模型型的的意意图图推推理理方方法法头动滑行输入 CHI 2017间接触摸滑行输入 Ubicomp 2019科技创新非精确指点输入能力建模和空间目标布局3. 面向非精确自然动作输入的交互意图理解推广应用1. 高可用自然交互动作输入和智能感知智能手机触摸华为全面屏手机智能手机上的多模态自然输入动作感知基于运动参数时序模型的点击判断方法华为智慧输入法手机输入法搜狗输入法盲
18、人智能输入法优化输入直观性的自然动作-意图映射2. 自然动作表达交互意图的编码映射优化优化输入效率的图形界面空间动态编码技术挑战基于手指点击能力精细建模的文本输入文本输入法（纠错增强）屏幕误触识别引擎语音交互手势增强VR/AR目标选择用户终端自然交互基础服务去噪噪声大输入慢意图推理动作输入不准解耦增效智能手机手势交互自然交互难题效率和易理解编码映射动作意图丰富传感资源受限动作传感表达方式多样调用文本输入法（纠错增强）文本输入法（纠错增强）增强语音输入唤醒和打断的自然手势感知基于连续运动控制时空模型的文本输入亮风台眼镜乐相眼镜AR 眼镜手势输入视觉无障碍交互手势输入拟拟研研究究内内容容面面向向视
19、视觉觉无无障障碍碍的的智智能能交交互互 研究目标：利用智能感知和计算技术，构建视觉无障碍交互界面，优化盲人与手机交互的自然性和输入效率。 核心问题：无视觉反馈下的自然交互，突破图形用户界面的限制 应用价值：视障；老人；情景受限据中国残联统计，我国有1700万视障人士操作效率低，使用困难33面面向向视视觉觉无无障障碍碍的的智智能能交交互互 问题挑战 用户感知和行为能力受损 视障用户的个体间差异 解决思路 充分利用有限的输入（行为）和输出（感知）通道 通过个性化实现交互效率的优化据中国残联统计，我国有1700万视障人士操作效率低，使用困难34未加标签层级缺失视视觉觉无无障障碍碍交交互互的的规规范范
20、及及问问题题技术实施方案交互代理：模拟人的眼睛识别和理解界面交互语义，无需第三方应用修改代码智能交互代理触觉膜36研究内容交互代理：模拟人的眼睛识别和理解界面交互语义，无需第三方应用修改代码交互界面的盲人心理模型和计算表示基于图形文本识别元素，获取交互语义构建交互路径：连通性、完整性(1) 图形用户界面交互语义的表示和提取37研究内容交互代理：模拟人的眼睛识别和理解界面交互语义，无需第三方应用修改代码(2) 运动控制能力建模和交互式参数估计运动控制能力的计算表示和参数定义基于对话模式的运动参数显式估计基于交互数据的运动参数隐式估计(1) 图形用户界面交互语义的表示和提取38研究内容交互代理：模
21、拟人的眼睛识别和理解界面交互语义，无需第三方应用修改代码(2) 运动控制能力建模和交互式参数估计(3) 个性化交互界面构建和意图理解(1) 图形用户界面交互语义的表示和提取交互编码优化，多模态输入感知，意图理解39研究内容交互代理：模拟人的眼睛识别和理解界面交互语义，无需第三方应用修改代码(2) 运动控制能力建模和交互式参数估计(3) 个性化交互界面构建和意图理解交互编码优化，多模态输入感知，意图理解(1) 图形用户界面交互语义的表示和提取运动控制建模，显式和隐式参数估计心理模型和计算表示，识别界面元素语义40智智能能手手机机触触觉觉膜膜41耳朵触摸媒体宣传2018年阿里双11大会技术展Shumin Zhai, ACM Fellow全全球球数数十十家家媒媒体体报报道道43盲人智能输入法智能戒指取代手机研究内容交互代理：模拟人的眼睛识别和理解界面交互语义，无需第三方应用修改代码(2) 运动控制能力建模和交互式参数估计(3) 个性化交互界面构建和意图理解交互编码优化，多模态输入感知，意图理解(1) 图形用户界面交互语义的表示和提取运动控制建模，显式和隐式参数估计心理模型和计算表示，识别界面元素语义46欢迎批评指正！喻纯，清华计算机系联系方式：
