用户界面的明天：GUI＋新人机交互技术
摘自 复旦大学日月光华站∶精华区
图形用户界面会被新的界面淘汰吗?新一代的用户界面将是什么样?这些是很多人感兴趣的问题。
美国Brown大学原计算机系主任、著名的计算机图形学家A.Van Dam曾在
SIGGRAPH'95
上称，“虽然各种三维图形的应用发展得很快，如虚拟现实、科学计算可视化等，但GUI、3D
Widget等都将长期存在”。这是因为目前大量的应用已经采用成熟的GUI技术，因此，GUI不会被淘汰。随着虚拟现实、科学计算可视化及多媒体技术的
飞速发展，新的人机交互技术不断出现，更加自然的交互方式将逐渐为人们所重视。
目前，美国正在进行研究的有关人机交互技术的项目主要有：MIT媒体实验室
的多通道自然对话项目，CMU交互系统实验室（ISL）的INTERACT项目，海军的
Intelligent M4系统。在欧洲信息技术研究战略规划（ESPRITII）的Amodeus项目中，
有大量关于多通道人机交互的理论和系统研究。在ESPRITIII中，正在进行MIAMI
（Multimodal Integration for Advanced Multimedia Interfaces）项目的研究，其
领域包括多媒体和高级多通道人机界面两部分，语言内容是通过视觉、听觉、触觉和手
势来访问、表示和产生多媒体信息的多通道交互的各个方面。还有法国IMAG的Coutaz和
Nigay设计的系统MATIS（Multimodal Airline Travel Information System)中，用户
可以利用键盘、鼠标、话筒或者它们的组合方式查询航班信息，体现了多通道用户界面
人机交互的自然性和高效性。语音、自然语言、手势、视线跟踪及头部跟踪等各种形式
的输入技术正在研究中，沉浸式的头盔显示器已经开始使用，新的立体显示设备也正在
研制。在GUI基础上，新的人机交互技术已逐渐开始应用。
新一代界面的主要特征可描述如下：
(1)以用户为中心
以 用户对界面的需求变化为出发点，使用户界面的外在形式和内部机制能符合不同用户的需要，这就是以用户为中心的设计思想。非特定人的连续语音识别技术将使计 算机能理解人们的要求，是一种重要的输入界面和手段。鱼眼(Fisheye)技术使屏幕观察(或光标)位置附近的内容被放大，便于用户观察。在传统的人机 系统中，人被认为是操作者，人去适应机器；在一般的人机系统中，人被称为用户，能与机器对话，但无主动控制能力；而在虚拟现实系统中，人才是主动的参与 者，机器将对人的各种动作做出反应。
(2)多通道(Multimodality)
多通道界面旨在充分利用一个以上的感觉和运动通道的互补特性来捕捉用户的意向，从而增进人机交互中的自然性。人的感觉通道有视觉、听觉、触觉、嗅觉和平衡
等；人的运动通道有手、嘴、眼、头、足及身体等。现在，计算机操作时，人的眼和手十分累，效率也不高。若将听、说和手、眼等协同动作，采用多通道、以自然
方式交互，可以实现高效人机通信，也可以由人或机器选择最佳反应通道，从而不会使某一通道负担过重。
(3)非精确
精确交互技术是指能用一种技术来完全说明用户交互目的的交互方式，键盘和鼠标器均需用户精确输入。而人们的动作或思想往往并不很精确，计算机应该理解人的
要求，甚至于纠正人的错误，智能化的界面是一个重要方向。
(4)高带宽
现在计算机输出的内容已经可以快速、连续地显示彩色图像，其信息量非常大。而人们的输入却还是使用键盘一个又一个地敲击，因而，计算机的输入带宽是很低
的。新一代的用户界面应该支持高的输入带宽，快速大批量地输入信息。语音、图像及姿势等的输入和理解是今后的发展方向。
(5)不限制地点
目前,计算机主要是在办公室、实验室或家庭中使用，人们面对着计算机屏幕进
行操作，这种操作方式限制了计算机的应用。虽然已可用遥控器代替部分动作，但用望
远镜看屏幕似不方便，而采用语音输入输出或其它计算机视觉(摄像输入)技术，则可不
受地点的限制。
(6)图示编程
图 形用户界面的编程是很费时的工作，而采用图示编程(Visual
Programming)则比较简单和直观。现在有些多媒体制作工具，如Authorware
Professional、IconAuthor等，采用图示方法设计多媒体文档脚本，以便于交互修改、控制时间关系。新一代的用户界面应尽可能提供图示
化的开发工具。
北京大学计算机系图形研究室在窗口系统的开发和汉化、用户界面生成工具和超文本制作工具的研制等方面做了一些工作。近来，我们与杭
州大学工业心理学国家重点实验室、中国科学院软件研究所共同承担了国家自然科学基金重点项目“多通道用户界面的研究”。与Desktop隐喻相仿，我们提
出了三维VIR (Virtual Information
Room)隐喻，采用基于智能体(Agent－Based)的方法，探索了多通道界面的软件结构，并使用三维鼠标器、汉字手写体识别工具及语音输入软件
等，研究了多通道界面的关键问题，即输入原语和通道综合，并正在开发多通道界面原型。针对Internet的飞速发展，目前正在研究虚拟现实建模语言
(VRML)及基于PC的桌面虚拟现实开发平台。
图形用户界面是当前计算机界面的主流，它仍需不断丰富和改进，如：增强超文本机制以支持
Internet的浏览，增强三维和多媒体功能，支持应用数据的可视化，开发更好的界面构造工具与语言。新一代的用户界面将在图形用户界面的基础上，采用
新的更加自然的人机交互技术，如语音、自然语言、手势、视线跟踪及头部跟踪等，以用户为中心，实现多通道、非精确、高带宽、高效及不限制地点的人机通信。