人机交互技术最新发展研究

人机交互技术最新发展研究

赵维

上海市静安区，92728部队，200436

摘  要：人机交互设备用于实现人与计算机的交互，是决定模拟器、游戏等使用逼真度的关键要素。本文首先系统地介绍了语音、体感、眼动、面部表情、气味、味觉、生理参数等自然输入技术最新发展；其次研究了裸眼3D显示、触觉反馈、力反馈、过载输出、气味合成等人机输出技术最新研究成果；最后分析了人机交互设备后续发展需求，可为游戏和VR开发人员提供参考。

关键词：人机交互；输入设备；输出设备；虚拟现实

中图分类号：TP391.9      文献标识码：A      文章编号：1004-731X (2009) 17-

1

0 引  言[1]

人机交互设备是实现人与计算机数据交互的设备，鼠标、键盘、显示器等是最传统的人机交互设备；后来又出现了机器视觉、立体显示、力反馈等自然人机交互技术。本文针对视觉、听觉、触觉、嗅觉和味觉五种感官，研究相关人机交互技术的最新发展。

1 输入技术发展现状

1.1键鼠输入技术

目前出现了一些多功能的鼠标、键盘，通过集成了触摸板、陀螺仪、加速度计、红外发射等模块，为鼠标、键盘增加遥控、语音识别、翻译等功能。

1.2传统手柄输入技术

按键手柄、方向盘、摇杆等都属于传统手柄。目前出现了一些新原理的摇杆，文献2中设计了一种可穿戴式摇杆，在手套的袖口嵌入1块磁铁，磁感应垫上有4个磁传感器，通过测量磁通量密度变化计算到手腕的运动情况，实现控制功能[1]。

1.3 语音控制技术

目前语音识别准确率大幅提升，在人工耳蜗、智能家电、机器人等方面广泛应用。有团队正在研究无声语音识别技术，可从面部和颈部肌肉记录的表面肌电信号中识别无声口语，有望在喉切除术后有语言障碍的人群、隐私通讯等领域得到应用。目前重点在利用神经网络、深度学习等模型，提高在嘈杂环境中语音识别率[2][3]。

1.4位置跟踪技术

传统电磁式、光学式等位置跟踪技术采用“outside-in”方式，技术上各有不足。微软在Hololens中首次采用了“inside-out”方式，在眼镜上使用多个环境摄像头和深度摄像头实现位置跟踪。美国Eonite公司实现了一种名为Vantage Head Tracker的inside-out定位技术，利用消费级深度传感器和标准处理器，实现15毫秒内的极低延时、亚毫米级的精度[4]。IndoTraq公司开发了目前最快的HSKT无线跟踪系统，该系统综合使用惯性测量单元和超宽带无线射频信号，定位精度优于5毫米，延时小于10毫秒[5]。

1.5体感控制技术

1.5.1手势控制技术

（1）基于机器视觉的手势控制技术

基于机器视觉的手势控制已手机、汽车车机等得到广泛应用，HoloLens2等AR眼镜也通过摄像头提供手势识别功能。

（2）基于数据手套的手势控制技术

早期数据手套主要采用光纤传感器测量手指的弯曲情况，结合位置跟踪器实现手势识别。目前已出现集成惯性传感器的数据手套，如Noitom Hi5，结合光学定位追踪器实现对手指动作和手势的精确识别，提供震动反馈和无线数据传输功能[6]。

（3）基于无线电的手势识别技术

近年来不少团队开始研究Wi-Fi、蓝牙、UWB、ZigBee、雷达等在手势识别中的应用，并已取得很多突破性成果，尤其是基于WIFI信号的手势识别具有很广的应用前景。

1.5.2行走控制技术

行走控制技术主要由操作者采用行走、跑步等方式实现在虚拟场景中的漫游控制，目前已出现多种产品，如Omni万向跑步机、HTC VR行走平台等；最新出现的镜像对称链全向跑步机，由两个相同的伺服电机驱动,提供全方位的自由度和真实的原地行走体验。

1.5.3 手部体感控制技术

手部体感控制设备目前在游戏中使用非常普遍，目前比较常见的体感控制设备有HTC VIVE体感枪和体感手柄等。

1.5.4全身体感控制技术

（1）体感摄像机

目前主要有微软的Kinect2、Intel Realsense D400系列深度相机等，通过内置不少于1个红外发射器、2个红外摄像头，采用红外结构光深度测距技术，实现对人体全身动作的跟踪与识别。

（2）全身动作捕捉系统

目前有专业的Xsens MVN高精度惯性动作捕捉系统、Teslasuit VR触觉动作捕捉服等，操作者通过穿着携带众多传感器、视觉标识物的紧身式动作捕获服，实现对全身动作的精确跟踪和识别。

1.6眼动跟踪技术

眼动跟踪技术目前在AR眼镜、飞行员头瞄系统等使用广泛，当获取到用户当前注视对象后，系统可以向用户显示该对象相关的提示信息和操作选项。目前市面上已有多种眼动跟踪产品，如EX150眼动仪、Tobii Glasses3眼动仪等，HTC VIVE Pro eye VR头盔显示器等也集成了眼动跟踪功能[7]。

1.7面部表情识别技术

目前市面上已有商业化的面部表情识别产品，如北京心拓英启公司的FACESO面部表情识别系统、Faceware面部表情捕捉系统等，可以应用于广告、仿真系统、测慌仪等领域。

1.8气味识别技术

目前嗅觉和味觉模拟技术研究进展相对较慢，出现了少量气体传感器产品，如合肥微纳的MEMS气体传感器、德国AIRSENSE-PEN3电子鼻、美国SuperNose-28电子鼻等，可用于探测爆炸物和毒品等；后续机器人、智能家电等都对气体传感器提出了广泛的应用需求。

1.9味觉侦测技术

目前日本、韩国、美国、德国等已在味觉侦测领域取得技术突破，出现了TS-5000Z电子舌、Super Tongue电子舌等，能完成苦味、涩味、酸味、咸味、鲜味、甜味等基本味觉感觉指标的客观测量，可以用于食品、药品的研发、打假等。

1.10生理参数监测技术

生理、脑电、眼电等参数也日渐成为一种先进的人机输入手段，如芬兰NeurOne高精度脑电测量系统，美国加州大学的脑电波合成语音技术；出现了使用脑电、眼电控制假肢的技术，基于脑电的疲劳监测系统等[8]。

图13 NeurOne高精度脑电测量系统

2 输出技术发展现状

2.1裸眼3D显示技术

全息显示技术目前是最成熟的裸眼3D显示技术，主要产品有全息显示柜、全息显示风扇和全息投影技术，在博物馆、模拟器等、广告等领域应用，其优点是立体显示效果好、稳定可靠、无需配戴立体眼镜。

2.2 VR头盔显示器

目前已出现大量消费级的VR头盔显示器，一般自带穿戴式计算机，使用WiFi进行数据通讯，自带惯性定位器和电源，大幅提高了使用舒适性和便利性；双眼分辨率最高已达4896×2448、视场角达120度，少量产品集成了眼动追踪功能。

2.3 AR眼镜

目前最具代表性的AR眼镜为Magic Leap One和Hololens2，其中Hololens采用二维显示器，视角约40度；而Magic Leap One采用光纤向视网膜直接投射整个数字光场，可产生电影级的真实效果，技术上更先进。

2.4触觉反馈技术

目前有较多成熟的产品，如Manus VR Prime II Haptic触觉反馈数据手套，有柔性传感器和惯性测量单元，当与各种虚拟对象交互时，可提供独特的触觉反馈[9]。

图20 Manus VR Prime II Haptic触觉反馈数据手套

2.5力反馈技术

力反馈技术目前主要在飞行摇杆、游戏杆等方得到应用；也有功能单一的力反馈设备，如3Dsystems Touch力反馈设备、Geomagic Touch X力反馈设备等。

2.6过载输出技术

对于飞行模拟器、航天员训练模拟器等，需要对过载进行模拟，才能使受训人员获得更真实的体感。载人离心机可以根据计算机仿真系统的指令，模拟出指定大小和方向的飞行过载，已出现六自由度的持续过载模拟器产品，如各种载人离心机。

2.7六自由度运动平台

早期的六自由度平台主要采用液压驱动，存在可靠性低、维护保养难度大等问题。近年来纯电六自由度平台已相对成熟，价格降低、体积更小，在各类仿真系统和游戏中得到大量应用。

2.8气味合成技术

嗅觉、味觉人机交互输出设备的研制进展缓慢，出现了气味电子化合成的初步技术，如日本东京农工大学研制了一种嗅觉屏幕，该屏幕可以散发出与所需气味，还可以调节气流强弱和方向[10]。

3后续发展需求

（1）进一步提升小型化、集成化和舒适性水平。

（2）深化体感真实性仿真技术研究。

（3）加大嗅觉、味觉合成技术研究。

4 结论

本文介绍了语音、体感、眼动、表情、气味、味觉、生理参数等输入技术最新发展；研究了裸眼3D显示、AR眼镜、触觉反馈、力反馈、过载输出、气味合成等人机输出技术最新研究成果和产品；并分析了后续发展需求，研究成果可为模拟训练、游戏等开发人员提供重要的参考和借鉴。

参考文献

[1]Jaewook Bae, Richard M. Voyles.Wearable joystick for gloves-on human/computer interaction[J].Proc. SPIE 6230, Unmanned Systems Technology VIII, 62300N (9 May 2006):1-11.

[2]Geoffrey S Meltzner, James T Heaton, Yunbin Deng.Development of sEMG sensors and algorithms for silent speech recognition[J].Journal of Neural Engineering.2018.5,15(4)：1-30

[3]Titouan Parcollet1, Xinchi Qiu1, Nicholas Lane.FusionRNN: Shared Neural Parameters for Multi-Channel Distant Speech Recognition[C]. Proc. Interspeech 2020: 1678-1682

[4]https://www.uploadvr.com/eonitte-bringing-inside-tracking-vr-headset/

[5]https://indotraq.com/?page_id=782

[6]http://www.noitom.com.cn/mobile/hi5-vr-glove.html

[7]林敏.基于眼动信息的人机交互关键技术研究[D].上海大学.2014: 11~16

[8]瞿军.基于生物电信号的人机交互技术及其在虚拟现实中的应用研究[D].华南理工大学.2019:1~15

[9]https://manus-vr.com/legacy-products/prime-ii-haptic

[10]吴新丽,杨文珍,余岭等.虚拟嗅觉气味生成装置的研究进展[J].系统仿真学报.2014.9,22(9):1882~1888

1

1