移动3维交互场(Mobile Surface)
智能触控平台为移动计算提供一个新的人机交互界面。这项技术通过使用摄像投影传感系统能够将任意的,比如办公桌面、餐台、茶几等表面或一张普通的纸变成可触控的平台,从而让用户能够在移动设备,如手机上,体会到和微软Surface类似的智能触控体验,而且这项技术在平面多点智能触控的基础上,还能够为移动设备提供3D空间的自然交互。比如用户将手机的内容投影到任意桌面,可以触控或3D的手势实现交互操作。而且这个系统还能实时捕获放入投影区域物体表面的数据模型,从而为增强现实应用提供了支持平台。移动自然交互“面”能够为手机/移动设备提供一个自然的交互平台,可以使你随时随地的与你身边的数字信息进行自然交互。
一个摄像头、一个投影仪就可以在桌面上打起虚拟的鼓来
置身云端——全新云计算交互体验(Inside cloud: new interaction for cloud computing)
云计算开启了新型交互时代,云计算的强大能力让用户可以随时随地的访问他们的个人数据,可以尽情享用丰富多彩的新型网络服务,也给了用户更大的空间和能力在信息时代更自由的遨游。我们的研究项目在探讨新型云计算交互体验,包括新型交互设备——“云”鼠标,信息组织形式——“云”界面。
每个人都会有一片属于自己的云,有一个自己的“云”鼠标,它是通向个人云端的钥匙,同时它又是一个拥有6个自由度、触控反馈体验的自然交互设备。“云”界面在现有的二维界面的基础上增加时间、空间维度,将用户纷繁复杂的信息有机的整理在一起,并以更自然的方式呈现。“云”鼠标结合新的自然的“云”界面,用户如身处云端,沉浸在个性化、智能化、有组织的个人信息数据和浩瀚的网络数据与应用之中。所有的对象漂浮在空中,用户可以使用云鼠标在其中轻松的漫游,自然的交互。
同声传译电话(T3:The Translating! Telephone)
这是一个能同声传译电话的系统。道格拉斯·亚当斯的巴别鱼激发了构建无拘无束的通用通讯的梦想。虽然我们还远未实现这一目标,但是目前有限的精确度仍能在许多场景创造价值。我们在电话通话场景中的目标就是在没有其他通信手段存在的条件下,提供一个跨语言沟通的辅助工具。该系统充分使用了说话人自适应技术,以达到合理的实时语音到文字转录的准确性。然后,又通过机器翻译来提供语音到文本的翻译,并进一步利用文语转换系统来最终实现语音到语音的翻译。识别文字和翻译文本都会显示给用户,使他们能够验证他们的意图。我们将用一个德语和英语的现场会话来演示这个系统。
肌肉运动"指挥"计算机(Input with Muscle-Computer Interfaces)
微软公司一直致力于研究利用传感器等元件来实现新颖的并具有较强交互感的物理设备。微软亚洲研究院的人机交互组负责人Desney Tan博士展示了一项最新技术——将手臂的运动直接作为鼠标来使用——依赖于肌肉的运动和变化来“指挥”计算机进行各式各样的交互体验。只要在手臂上戴上传感器,可以“握”着电脑中的吉他自如地弹奏起来。在空中轻轻挥动手指,计算机便可以跟踪运动手指的轨迹……等等。读者们可以看一看《西雅图时报》记者关于这项技术拍摄的现场视频。