微软Hololens的定位是一款MR 设备(Mixed reality)。MR与AR的不同我认为是MR能够将真实环境的场景信息与虚拟对象进行完美的融合,它是基于SLAM(SimultaneousLocalization and Mapping)实时定位和场景建模的技术,使得设备能够识别周围环境,并且准确知道用户在场景中的位置,增强了用户使用的真实感。
Hololens本身设备是一台头戴式的计算机,其配备一个半透明/分辨率极高的See-Through屏幕,整个设备集成了所有的零件,具体的详细配置见下图:
在软件方面,微软一直在VR,MR的计算机图像识别,Kinect 形态预测,手势追踪和识别,图像渲染效果,更强大的计算能力等方面都在深入研究,这些核心算法或技术是提高设备的用户体验的关键。 在内容开发方面,微软希望构建一个生态系统,提供一个像Holographic这样的软件平台,通过把不同的算法和服务变成普通用户都能用的API,想开发MR应用的人就能用这些工具和服务来开发应用,最后可以做到HoloLens上去,也可以用到其他虚拟现实、增强现实设备上去。
在混合现实领域,还需要解决的问题:
1:光影技术在图形学里叫“绘制技术”,实时的、光影真实的三维场景绘制技术一直是研究的热点。微软研究院第一次尝试用机器学习的方法处理这一问题,第一次把一些原来非常难做到的复杂光影效果做成实时。我们相信,随着这些技术的发展,会有更多的酷炫的光影效果,可以在VR和MR中呈献给大家。
2:怎么更方便地产生更真实的三维场景和交互内容。传统上我们需要艺术家去造型,但另一个方法是从真实世界中直接拍摄捕捉。比如,我想做一个咖啡馆,以前艺术家要用三维造型软件手工去做,包括所有细节,这是一种方法。还有一种方法,是拿一个深度相机或普通相机,把一个咖啡馆里所有的桌子和墙的几何形状、材质完全捕捉下来,把它放在三维场景里,真实感一下就提高了,所有桌面的材质都会很真实。有了这个技术,艺术家就不是无中生有了,他可以在这个场景的基础上把材质改改,比如让桌子生点锈,把它变得更有质感。因此内容捕捉技术是非常重要的技术路径。微软研究院在这个方向做了非常多的研究工作,我们的目标也是希望通过我们的推动,能让普通的用户享受这项技术,通过比如Kinect这样的深度相机,甚至像手机或者是普通相机拍摄的东西,把用户感兴趣的三维物体和几何形状表面的丰富材质、光影效果都捕捉下来,完美再现在虚拟的世界里。一旦这个问题解决了,所有普通用户都能产生高质量的三维内容,那虚拟世界、混合现实的世界就会变得丰富多彩,用户的体验也会提升一个数量级。
3:人工智能技术和识别技术 (以上三点摘自微软首席研究员童欣对话)
Hololens开发环境配置:
Visual Studio 2015 Update 1及以上版本;
Windows 10 SDK 10586及以上版本;
Unity HoloLens技术预览版【现在最新的Unity5.5版本已经支持Holographic,可以通过预览模式查看效果】。
以下内容将会提高你的开发体验:
- HolotoolKit【协助快速开发的开发组件,会不定时更新】
https://github.com/Microsoft/HoloToolkit-Unity - Windows Device Portal 【设备控制台辅助管理设备】
- 微软官方Hololens学院教程,https://developer.microsoft.com/EN-US/WINDOWS/HOLOGRAPHIC/ACADEMY
开发应用特性:
微软为开发者提供了硬件开发指南,其中提到,HoloLens应用或游戏与传统桌面上的应用、游戏有所不同,这是AR设备的自身属性造成的。用户在使用HoloLens时必定会移动头部,这就需要应用以非常高的速率刷新,以避免用户移动时带来虚拟视觉与现实世界的不同步感。
因此 微软建议开发者 在开发HoloLens应用或游戏时,应以每秒60帧数为目标,同时应用占用内存应小于900MB。如果应用能耗过大或导致过度发热,HoloLens也将自动关闭进程。