zoukankan      html  css  js  c++  java
  • 【转】Google Glass原理介绍

    ok,就在今天,刚好看到了Google给开发者的讲座视频#[1],Timothy Jordan主讲,关于Glass的功能和api之类的。有些新的信息可以补充。包括功能,操控方式,编程方式等
    他将一个Glass 连接了一个数据线可以传图像到电脑到投影仪(演示用,一般不可以). 一开始,先说,佩戴上Glass之后它在我们视线上方,因为不想挡住视线,如果这个是设计时候就提出的,就决定了Glass的投影图像只能位于视野上方,
    ------我的分析分割线-----
    我补充下面的几个图(眼睛的图参考了#[2]),第一个3D透视图,然后是侧视图,然后是前视图,还有镜头工作原理图,分别为1/2/3/4,这些图可以用后面Sergey Brin的戴着GG的图片交叉验证为什么图像看起来在下方。而拍照时候他是正对着我们的。这里面和后面的图稍微不一样的是(大红是显示屏,蓝色四方形是光导,灰色方体是LED,偏白色的是反射镜,绿色(图3)是分光镜,蓝色是投影镜头,大的绿色立方体当然就是棱镜了,棱镜里面还有个红色的分光面和端面的镀膜反射面,紫色的是光线路径),由于需要不挡住人眼,就需要把显
    示屏的中心和投影镜头的中心偏离(详见图4#[3]),相当于只用上半部的镜头视场,这样光线出射镜头之后就会朝下传播,射出镜头后就是棱镜反射了会保持朝下的方向(速度是矢量),分光之后我们就看到如照片里面的,亮的像是在棱镜下部而不是中上。然后进入眼睛的光线会成像在视网膜下部,不要忘了,大脑理解人眼的感受图像是上下左右颠倒的#[4]。然后我们就看到图像是在视野上方了,至于右方,跟这个类似,只需要光线是左右斜着入射到眼睛的就行了(这里没有画,举一反三即可),还有这里镀膜反射面画成平的,因为这里要说明的只是斜入射。其它就简化了。另外,LED经过反光镜再到分光镜的这个结构,由于显示屏的离轴放置,变得可以继承在显示屏旁边进一步缩小体积。这也是为什么最下面的最近的GG产品体积如此之小,而更新答案中的原型都不同程度的存在器件突出棱镜的情况。当然,也可能使用投射型显示屏,光源就在显示屏左边了。考虑到现在的显示屏的体积,这个方案也是非常可能的。确定这两者之一需要数量分析了。这里定性分析已经不够精确。

          上图可以示意的看半边投影镜头的用法,屏幕在最左边,出射在右边,红色和蓝色光线分别为显示器件的上边缘和下边缘。就可以得到朝下的光线,GG的实际应用中可能只有绿色和红色表示的光线,没有水平的蓝色这部分因为人眼基本上收不到。光源很宝贵不能浪费O(∩_∩)O
    ------回到视频的分割线--------
    操作方式,语音,触摸手势,基本的头部运动方式:
    1,下图手指位置是一个触摸板,戴上之后碰一下会到GG的home 屏幕,home屏幕再下图,只有时间和“ok glass” 提示,这句提示可以语音进入到执行命令的语句里面。然后手指沿着触摸板从上往下滑就可以划掉home屏幕,就像android手机里面的back按钮

    2,触摸一下后激活home屏幕,可以进行语音识别,语音以ok glass开头,然后从home屏幕跳转到下面显示,给出了类似子菜单一样的命令列表,直接读出选择的哪一项,就可以进入类似于手机中的语音识别界面,并给出答案。并且他说GG可以有语音反馈,目前不知道GG是不是云端返回数据还是可以本地识别。有个有意思的是,他在看GG中图像的时候,要保持眼睛朝右上角看过去,也就是说,图像并没有比如书本之类的容易识别,需要投入一定注意力。熟悉之后可能好了吧

    3,戴着GG朝上看比如45度同样会激活home屏幕,这次他选拍照,然后就停在下图姿势3秒钟,然后就看到图了。拍照之后图片停1秒后消失,可以唤醒屏幕后朝前滑动触摸板查看刚刚的照片,比较有意思的是,看的时候,如果你做了一个点头的动作,比如遇见了一个人,点头致意,然后照片就会消失。如果在查看照片的时候单触(单次触摸触摸板,下同),弹出卡片选项,当然,sns当道的今天,share当然是第一个选项啦。这时候前后滑(在触摸板上前后滑,下同)可以浏览选项。单触选择选项,share默认当然是Google+,下面有进度条。

    4,你在GG上面的操作,是一种timeline的操作,可以前滑查看过往的卡片,例如刚刚搜索的日语。继续滑动到home屏幕还可以往前,就进入Google now的卡片(Google真的可以把很多东西都整合)如下图,可以单触激活右上角的折叠按钮,得到更多选项,这里是3天天气预报,下滑回到原来界面。


    Google Mirror API,基于云的API用来开发Glass的app,下图是结构示意图(接下来若干分钟适合做软件的同学观看),Google可以同步其它你关注的用户的timeline,见图,times新闻有折叠按钮,可以展开,可见推送到Glass上面的新闻都是进行优化过的。字大,配图

    Oyeah,然后给了软件业最常见的hello world的代码。。。。

    和插入图像的方法。。。。

    还有rich html

    和多页的card显示,就是有折叠按钮的

    还有一些不一一在这里说明了。可以update,delete,自定义单触的动作,系统动作有回复,大声读出等,基本上都是和云端的互动,看来没有高速无线连接是不行的。。。。。加油啊。。。移动联通电信。。。。
    还有subscription订阅,这样Google才可以同步和推送信息给Glass,第三方服务也需要通过这样的流程来进入Glass

    然后就进入Guideline, 如下图,短互动比较好,不要过于干扰用户。Glass是及时交互的产品,聚焦在用户现在在做的事情,最新鲜的事情。时间大概是just now。还要避免意外,因为用户是戴着Glass的,容易信息过载


    然后进入new york times的应用,背景是每天工作中没有时间坐下来看报纸,就想Glass每次推送新闻标题和主题图片,有兴趣才进去看,如下图,ps,下图的工作场景太屌了!!!!!太屌了啊!!!!!我也想要!!!!

    然后单触可以大声读出,应该是不仅是标题,应该有正文。
    实现方式是插入一个多页的timeline card,有合适的交互选项。

    另一个是Gmail应用,回复全部用语音识别(嗯其实现在已经做得很好了语音识别)!!!!!然后自动发送

    然后进入Evernote+ skitch
    Glass随时拍照的特性非常重要,开会的时候配合Evernote可以很方便的记录和分析,标记。过程大约是拍图之后点击share到skitch,然后Google会知道,Google通知skitch,skitch推送消息到用户手机或者平板或其它设备。用户修改后,自动同步到云端。

    然后是Path,可以smile或者其它动作(我没用过哈)。
    然后就是这次的小结,挺好的这个流程,就是演讲者语言略显拖沓,有时候长达几秒钟都没有声音。。。。。披露的信息还挺多的。


    --------- 2013年4月3日18:36:39 更新--------------
    好吧,今天看了下Google Glass相关的视频,发现其中的显示器件应该不是OLED,还是LCD+LED背光的方式。特更新下。声明,视频不是我拍的,我不拥有版权,如有侵权请联系。
    起因是看Sergey Brin在TED上的视频**[1](视频位于U2B),在某些时候他转头且摄像机比较近的时候,会看到有不同颜色的拖影,这一般不是OLED的特性因为OLED大多数可以直接集成RGB像素在一个芯片上,不同颜色的拖影,类似于DLP+色轮引起的效应,如下图**[2],同一个时刻只有一个颜色的图像,因为DLP速度比较快,不同时刻的图像叠加在一起就可以看到完整的彩色图像。但是可以通过一个方法来验证,正常位置看着投影出来的画面的时候,眼睛快速转动,比如从左到右,如果投影仪是这样的原理眼睛就会看到色彩分离,或者拿一张白纸在投影屏幕前面快速移动,眼睛跟着移动,也会看到类似现象。作为对比,可以对着液晶屏幕做相同快速眼睛转动,不会看到这个现象。类似的,3LCD的投影仪例如某些Sony的型号因为是同时混色,也是看不到的。


    视频截图如下,下图是他头部转动的比较快,摄像机对的比较近的时候(吐槽下TED这个视频都不上传个HD的)就看到颜色分离了。在一个曝光时间内多次对摄像机进行曝光(面部都模糊掉了),这里不同的颜色和颜色之间的暗部就对应了显示屏在不同时刻的图像,可以看到在这个光带的右部,从右数起有BRGBR....的顺序,后面可能是因为速度变化了,显示帧率和摄像机帧率的关系不能很好的拍到RGB的分离吧,基本上就可以确认是顺序RGB颜色图像来投影了。

    然后呢,我又找到了另外一个视频**[3],这个视频将一个哥们跟GG的设计人员沟通和介绍的。内容很详实,包括早期的prototype的图都有。很具有参考价值。其中有几个值得分析的地方,如下:
    看到GG的棱镜的镀膜反光面,反射率非常高,基本上达到镜面反射的程度,可以清楚的看到反射的物体,这个图还不是最绝的,最绝的是下面那个图。

    这个图把摄影师的影子看了个真真切切啊(我把指尖附近的图放大放到左上角了),摄影师拿着相机的姿势,手,头部都可辨,另外也交叉验证了原答案中关于镀膜反射面是曲面的说法,是凸出来的所以人像看起来小。

    下面这个图是棱镜那里的局部图,可见棱镜中间的分光面/镜和旁边的摄像头。

    然后,设计师Maj Isabelle Olsson出场(后文提到的专利的第一申请人,工业设计师,GG发布会上也有出现),拿出了早期的GG原型(芊芊玉手啊),然后。。。。。

    然后她就戴上了,可以看到硕大的电路板,黄色的LCD显示连接线。当然还有美女O(∩_∩)O,然后。。。

    镜头拉近原型机摆在桌子上,可以清晰看到电路板,电路板右侧的那个疑似摄像头的小盒子,黄色的LCD数据线,还有两根线,我认为是LED光源的线

    然后可以看到对棱镜部分的特写图,这样的结构应该是类似于微型投影仪的结构,上面是LED光源,应该是白光,两根线,下面是LCD的软排线,且LCD前后应该有彩色滤光片,否则不能得到单色光来进行投影。由于中间空间还应该有5mm左右才到棱镜,几乎可以肯定中间空的有个小镜头。

    然后为了找到支持,Google了下,找到一个和我有类似关注点,但是研究比我更深入的人,他的博客Karl Guttag on Technologywww.kguttag.com/, 他应该是做显示行业的,一些分析也很给力,下面引用他的一些结果。大体结果和我的分析类似,但他比我更懂各个显示器件的优势和劣势,做出的推测我个人认为非常接近现实
    -----------下面引用Karl Guttag博客的分析**[4],英文为原作者,中文为我的说明------------
    Google Glass Prototype Using Color Filter LCOS

    ......What caught my eye was that there were only two wires going to the LED illumination (in a white package — see picture above) which was indicative of a white LED. A field sequential device would have to have separate wires for each LED (or laser). To get a color display starting with a white light source, the device had to have color filters on it and so by a process of elimination, it had to be a color filter LCOS device.
    这里作者也是先看到了我看到的那个视频和图(几乎一样的截图),然后他知道Himax有做LCOS(Liquid crystal on silicon硅基液晶),就Google了下Himax的LCOS产品,结果,发现2010年10月香港电子展有一个图跟GG的非常类似,如上图,"the panel in the Google prototype is a perfect match",红色箭头是安装孔位置,蓝色绿色箭头是PCB上面的丝印,都符合的很好。他查到这个显示分辨率为320x240像素并用最近的GG图片做佐证。
    他还看到另外的文章,这个设计不同之处在于显示器方向转了90度,可见Google跟苹果一样,一款产品原型是不断改进的。可以看到下图白色LED那里是相对于棱镜更突出来的,而实际产品不是,所以可以推测下图也只是中间的一个原型(到底有多少个原型。。。。。。)。

    在另一篇文章里,他谈到了还有更多的更早的设计,如下图,上面是IBM在2000年(2000年。。。给跪了。。。)的专利,好吧这里的图显示不出来,请到kguttag.com/2013 去看。IBM的专利设计可以通过旋钮调节对焦的远近,从18 inch到无限远。
    他通过和我不一样的视频,也确认了是分时分颜色投影,如下图(再次给跪了。。。。。。他说他并没有下载视频(我是下载下来MPC单帧播放找到的。。。。。),就是通过播放暂停得到的。。。。。),类似的老大在动,顺序投影,产生不同颜色的图像。


    他还说,不是OLED的原因是因为OLED目前的像素太大了,会造成尺寸很大,也不是DLP,类似原因,也不是LBS 激光束扫描因为不仅大,而且贵。还谈到了Himax的股价变化。有兴趣的朋友可以去他博客看看,很有意思。
    然后针对这种显示器件,我按照各方面的信息更细化了进入棱镜前的光路图。LED发出光线后经过光导汇聚和平均,打到分光镜上,一部分反射到LCoS显示器上,然后反射出来到Lens镜头上,然后进入棱镜,后面跟下面的分析一样了。LED和光导不一定是这个位置。

    好,更新完毕,基本上这个问题回答的够全面了吧。
    PS:为什么很多好的产品都是从设计师开始的呢?我们做技术的是不是有时候思维太放不开了?

    -----------2013-04-02 16:57 更新----------
    @Fan ,(不好意思@之后没有看到你,不知道可以@到你不,希望你可以看到), 不好意思表达有点烂哈, 完整而简要的流程是:
    OLED显示----(很可能有的微型非球面透镜组,见下图*[1])----棱镜54的入射面----分光镜----棱镜54的镀膜反射面----分光镜----棱镜54的侧面出射面---(隐形眼镜/太阳镜,如有)----进入眼睛---聚焦到视网膜上----感受到叠加在物体上的半透明实像。
    你提到的自动对焦目前其实是由人眼完成,因为对不对焦只有你自己知道,而你并没有将对焦与否或对焦好坏的信号反馈回Google Glass,所以自动对焦在这个流程中逻辑在上不能实现,其实不一定在设计上就是对准无限远的,但一般是无限远,这样便于长期观看,并且避免一些来回对焦导致的安全问题,比如走路的时候看GG上面的信息,设计图像在你前方1米处,你聚精会神的看,忽然有车子朝你开来,这时候你的眼睛从对焦到前方1米到对焦到车子(比如5米),需要零点几秒(当然你不需要看清才知道躲开),40千米/小时的速度,零点几秒就可以撞到你了,万幸的是,你没看清的时候就已经开始躲,且司机不是酒驾,你逃过一劫,痛骂Google烂设计的同时下次再也不在路上用GG了。

    上图一个典型的手机摄像头镜头,至少包含4个非球面,最右边是传感器,高度只有几毫米

    --------------下面是原答案----------------
    之前都是看的多(实际上也有个xd在zhihu上面邀请我回答关于Google Glass原理的问题,当时没时间就没回答,不好意思了),正好有时间就研究了下相关技术问题,并作出第一次认认真真的完整长篇回答,谢谢zhihu上各种好玩的人
    -------------------正式开始的分割线-------------
    头戴显示器其实不是最近的事情了,不过Google Glass(下面简称GG)确实掀起了可穿戴电子的热潮吧,GG的设计个人觉得确实很好(技术角度),配合各种服务可以做很多事情,可以说,可能性几乎无限啊. 下面从GG的图入手结合专利文件和网上各种图来分析其结构和显示原理.
    先看一张来自GG网站的截图[1],可以看到最明显的就是沿着镜框突出来的光学元件。光线的路径和各部分的作用图上已经标明。光线1由显示器件OLED发出经过棱镜的入射面(可以不是平面,在外壳之内),入射到棱镜内,然后打到分光面上,在这里,光线1分成两部分,2和3, 3当然就出射到外面了,2继续走就到了镀膜反射面,这个面可以是球面或者非球面的,2碰到镀膜反射面被分成两部分,透射光4和反射光5,透射光当然就出射出去了,反射光5继续走又回到了分光面,又被分成两部分6和7,6最终进入人眼,人眼看到图像等效在无限远,7射入回去没什么影响,这部分光线很少了。



    下面是这个判断的支持信息:

    1,为什么是OLED不是其他
    最重要的是OLED的主动发光特性可以得到典型10000:1的器件对比度[2],当然还可以更高,LCD的器件对比度一般才1000:1,是结合了动态光源技术才能达到今天大家看到的多少万的对比度。这对于GG这类产品特别重要(增强现实而不是虚拟现实),因为图像是叠加在人眼看到的物体上的而不是完全阻断人眼看到的物体,如下图Sony这款虚拟现实产品[3]就完全阻断,直接虚拟一个景给你。对于GG,任何一丁点的不需要的光线进入人眼都会造成视觉干扰。大家肯定不想GG不显示有用信息的时候还看到有个矩形的虚影在眼前晃 (摔!),请参考LCD的漏光现象。当然LCD配合LED背光可以完全关断得到这样的效果,但毕竟结构比OLED复杂嘛,平白无故多了个背光进去。而且OLED响应时间快,不会出现拖影。很适合用在这里。


    2,一个典型的分光棱镜如下图[4],需要说明的是,只要有光学界面,就不可避免的有反射和透射。差别在于比例而已。对照前面的图1和下面Google大佬戴GG的照片,可以看到如上所说的光线3造成的前向出射光形成的像,就是棱镜前端眼睛上部看起来蓝色方形部分。





    3,为什么棱镜入射面可以不是平面,为什么镀膜反射面不一定是球面,为什么看到图像等效在无限远?
    这是基于目镜的光学设计中“出射是平行光”和像差校正的要求。完全是平的就像镜子,不会产生汇聚作用,所以需要有曲面来完成光线折射,而产生了汇聚作用并不等于图像质量好,还需要校正主要的像差,校正像差的时候,自由度越多校正效果一般越好。所以,很可能棱镜的前入射面和镀膜反射面都不是球面的,且更有可能的是在OLED屏和棱镜之间还有一个小镜头(现在非球面手机镜头都很小的随便塞进去),如下图是富士微单的电子取景器的光路图[5],OLED发光经过透镜再经过两个球面透镜和蓝色的非球面透镜出射为平行光,等效于无限远物,对于正常人眼,这样的观察条件最放松。


    4,专利文件[6]部分说明如下:
    50显示单元,54棱镜,32摄像头,70触摸输入和里面的主板,80电池,其余部分跟一般的眼镜区别不大。50的显示采用如LCD,CRT和OLED和一个镜头,如有必要。54棱镜可调节位置。80还有配重的作用。


    其中显示单元爆炸视图,64孔套入62,66用来固定52,54套入52,54棱镜形状/材料可变来达到成像要求,有接收光线面58和朝人眼的60观察面。


    最后,这个设计很精巧实用,很佩服。希望自己有一天也可以想到和设计出这么好的产品。另外,觉得回答好的点个赞同什么的。。。。有问题也欢迎交流。。。。


    参考
    [1] Google Glass
    [2] i.daily打断链接mail.co.uk/i/pix/2011/08/31/article-2032130-0DA44C7700000578-117_634x451.jpg
    [3]emagin.com/wp-conte
    [4] http://www.edmund打断链接optics.com/打断链接images/catalog/1006878.gif
    [5] http://fujifilm-x打断链接.com/x-e1/common/images/about/p02_ph03.jpg
    [6] US20130044042 wearable device with input and output structures
    --------------补充参考---------
    *[1] Optical Research Associates
    -------------再次补充参考-------
    **[1]TED-Ed | Sergey Brin talks about Google Glass at TED 2013ed.ted.com/on/hTV1JJ5D
    **[2] www.sharp打断usa.com/ForBusiness/PresentationProducts/ProfessionalProjectors/XGPH80Series/~/media/Images/Home/ForBusiness/PresentationProducts/ProfessionalProjectors/ContentPageImages/pro_xgph80series_dlp_chip.ashx?w=532&h=193&as=1
    **[3] I used Google Glass youtube.com/watch
    **[4] www.kguttag.com/
    ----------再再次补充参考--------
    #[1] youtube.com/watch
    #[2] http://hyperph打断ysics.phy-astr.gsu.edu/hbase/vision/eyescal.html
    #[3] http://radiantso打断lution.co.kr/images/en-dt/Image/telecentric_LCD_Projection_lens.gif
    #[4] 設計魔力 • 檢視主題

    本文来源:http://www.zhihu.com/question/20276179

  • 相关阅读:
    Js时间处理
    Css 显示删除条目效果
    vue权限控制菜单显示的简单实现
    js取对象的属性值循环
    标题的内容响应式设计
    将一个字符串当做一个方法名或对象的key
    JSON序列化和解析
    import 与export详解
    使用flask-mail扩展发送邮件
    正则表达式练习-计算器实现
  • 原文地址:https://www.cnblogs.com/ppffs/p/3048217.html
Copyright © 2011-2022 走看看