千万粉丝的油管主“Marques Brownlee”最近更新了一条视频(播放量已超400万),简要对比了两款他前段时间所体验的Meta Orion和Snapchat Spectacles两款AR眼镜,还与Meta的CTO Andrew Bosworth围绕Orion讨论了AR眼镜技术方面的话题。(以下为第一人称视角的编译,部分内容有调整)
现在我已经体验过2024年的新型AR眼镜——Meta Orion和Snapchat Spectacles AR眼镜,但这两款眼镜都不对外发售。如果我们来对比VR头显和智能眼镜,它们都在向一条“折中”的道路前进,那就是AR眼镜。VR头显集成了大量技术、惊人的沉浸感、超宽的视场角,但它们的体积也非常巨大。一般人也不会带着它在公共场合走来走去。
但智能眼镜正好相反,它们看起来就像是你在日常生活中可能会佩戴的东西。但它们实际上能承载的技术有限,所以一般人只能看到摄像头、电池、扬声器和里面的芯片。因此,VR头显希望变得越来越小,直到能把所有的技术都压缩在一起,看起来就像普通眼镜一样。而智能眼镜则希望尽可能地增加更多的技术,以达到更好的效果,同时看起来仍像普通眼镜。于是出现了“AR眼镜”这种产品。
Meta Orion(上)和Snapchat Spectacles(下)
Meta和Snap采取了两种截然不同的方式,将AR眼镜变为现实。让我们从Meta Orion开始,Meta在Connect大会上布了这个项目,之后又邀请了部分用户试戴。接下来我想将Meta Orion和Snapchat Spectacles相互比较一下。
Meta Orion:神经腕带交互和更智能的AI
Orion由3个部分组成,AR眼镜Orion、独立的计算单元Compute Puck(它必须始终保持在距离眼镜约15英尺的范围内),以及EMG神经腕带。有了Meta Orion眼镜,我可以在这里进行三个场景的演示体验。相关阅读:《揭秘Meta最强AR眼镜Orion背后》
第一个是基本功能演示。可以通过Orion浏览Instagram,Instagram的窗口漂浮在房间中央,只有自己能看到。还可以同时进行视频通话,其他的浮动窗口则悬空在用户周围(包括Messenger)。眼镜戴在脸上感觉很轻,重量约100克。我用拇指做出这个手势(像抛硬币那样),就可以滚动浏览。虽然Orion有手部追踪功能,但如果手放在背后还是能通过EMG神经腕带作出反馈。
我在Meta与包括CTO Andrew Bosworth在内的人交谈时,他们都表示很喜欢神经腕带这种上限很高的输入装置,而且他们认为这种输入方式会随着时间的推移而得到巨大发展,甚至有可能达到他们所说的可以测量的程度。假设你空手用握笔的姿势在半空中画出字母,然后它利用腕带检测到的电脉冲将其映射为真实的字母,作为手写输入的文本,但Meta还没能实现这一功能。
第二个是AI功能演示。你可以走到一张摆放着各种配料的桌子前,看着这些配料做一个手势,然后问内置的AI:我能用这些东西做出什么类型的冰沙?Meta的AI会查看摄像头画面并识别出配料,然后显示蓝色的小圆点和标签,最后为你提供一份菜谱。
第三个是共享空间演示。两个人戴着Orion眼镜扫描房间中的二维码后,就可以生成共享3D空间体验的锚点。有了前端的传感器,我可以通过视觉追踪手部在空中的动作,然后将其映射到球拍上,这样就可以跟对面的人来回击球了。
制作这款眼镜涉及复杂的技术和材料科学、传感器、Micro-LED显示屏,再到光波导、碳化硅材料等等,我和Meta的CTO Andrew Bosworth一起深入探讨了这个问题(采访内容见下文编译)。在Orion眼镜上拥有7个摄像头和传感器,是专门为眼球追踪和环境追踪设计的。镜框本身是由镁制成的,这不仅是因为它必须足够坚硬,以保持镜片对齐,还因为它是整个计算机内部的散热器。
图源:KGOnTech博客
Orion眼镜重量很轻,佩戴舒适,但戴上两个小时就会感觉有点发热和沉重。叠加的图形本身的追踪效果也不错。当然,现在这些都不重要,因为这款Orion并不会出货。对于一家科技公司来说,宣布并展示和演示一款新产品,但却从未打算将其出售给人们,或许可以把这看作是公关。而Meta自己也认为会继续迭代他们的产品,而不需要额外关注包装、营销和销售第一件产品。
Snapchat Spectacles:电致变色功能和更多AR应用
这就是Snapchat的AR眼镜。从外观上看,它更像是戴在我脸上的一件科技产品(对比普通眼镜来说)。不过,我认为这与Meta Orion之间有一些本质区别。区别一,Spectacles没有独立的计算单元。所有的计算单元都在这副眼镜里,因此眼镜体积和重量更大。相关阅读:《Snap发布新款AR眼镜:重量以外,我看到了AR广泛落地的黎明》
区别二在于材料和构造。Spectacles的眼镜本体大部分都是黑色塑料。这并不是说它们的做工很差,实际上它们还是非常坚固的。我认为这更像是一种减轻重量的措施。不过,他们仍然需要一个高质量的散热器,这也是两侧各有一条金属带(钛蒸汽腔)的原因。但总重量仍有228克。你可以看到镜臂一直延伸到我耳朵后面,可能是Snap想让它的重量更平衡一些。
区别三是显示屏。在Spectacles眼镜上,我能感受到分辨率大大提高。甚至比Meta Orion更加清晰,这种效果跟戴上Vision Pro后的效果很接近,但视野范围要小得多(46°),正常观看正前方的内容时还不会感受到视场角的局限性,一旦你需要环顾四周,或者频繁移动你的头部,那么视野就会被截断(就连Meta Orion 70°的视场角都会出现边缘被截断的情况。
视场角的限制在一些AR游戏中尤为明显,例如我使用Spectacles玩高尔夫游戏,手机和高尔夫球杆映射在一起,你往下看就能看到高尔夫球。但在AR眼镜上,你要抬头看球洞,然后低头看球杆,不停地来回看之后再击球,这样才能保证球不会离开视野。
我最喜欢的可能还是显示屏上的电致变色效果,它可以让Snapchat的AR眼镜镜片从透明变为有色,然后再变回透明。这项功能大大提高了可读性、对比度以及沉浸感。
区别四是关于开发者的。Meta Orion和Snapchat Spectacles都不会面向消费者出货,但Spectacles已经可以算是集成开发者套件的设备了。如果你是开发者,现在就可以申请拿到Spectacles并开始为它制作应用程序(需要支付订阅费)。
除了上述提到的高尔夫应用,还有浏览器、音乐创作应用、桌球辅助应用、类似《Beat Saber》玩法的应用——《Beat Boxer》等等。如果要体验这些应用,甚至不需要扫描二维码。只要你和其他人一起环顾四周,AR眼镜就会主动绘制出你所在房间的空间,然后立即将你们匹配起来。
总的来说,Meta Orion为分体式设备,要你的口袋里放一个独立的计算单元,而它的续航只有两小时左右,如果要售卖这台原型机估计要2.5万美元。而Snapchat Spectacles AR眼镜的续航时间为45分钟,体积更大,然而订阅费为每月100美元。这两项产品都没准备好面向消费者,但它们都给我们可以拥有的未来提供了巨大的想象空间。
对话Meta CTO:探讨镁合金、碳化硅、AR杀手级应用……
Marques Brownlee:Boz,感谢你愿意抽出时间跟我聊聊。我现在拿的是透明版的Meta Orion,从最初设计的版本迭代到现在这台,最具挑战性的部分是什么?
Andrew Bosworth:我认为有两个问题很难解决。首先是显示屏,让它们存在于任何外形尺寸中都是超级困难的事,当然还有密封性的挑战。第二点是散热,我们努力将它从原本巨大的体积缩小到现在的程度,但随着设备的运行,里面会产生很高的热量,这会导致透明版使用30分钟后就会停止运作。
这就是为什么Orion会加入镁元素,因为镁合金的散热效果更好。所以Orion的续航在极限情况下大约能使用2到3个小时。而且很难想象我们要在这里放多少东西才能覆盖眼动追踪、Slam、显示屏、所有的无线设备、所有的音频设备、所有的麦克风。眼镜内侧有两个眼动追踪传感器,还有一圈红外灯。我们的眼球追踪已经达到了行业领先水平,在这种小巧的外形下搭载眼动追踪功能,无论是软件还是硬件领域都是一项壮举。
Marques Brownlee:Meta不会把Meta Orion对外发售,是因为这些都是现阶段的内部原型机吗?
Andrew Bosworth:刚开始我们有考虑过对外发售。这项技术的效果和我们在项目初期所希望的一样好,结果成本高了很多。
Marques Brownlee:很明显有些部件的成本很高,可能也是因为它产量少导致的成本过高。但对这些产品来说,会有预想中的低价位吗?尤其是对于人们的第一款AR眼镜来说,一个合适的目标价格定在多少比较合适?
Andrew Bosworth:是的,成本是定价的主要驱动因素,而90%的成本都在显示架构上。还有我们自己设计、开发、制造的定制Micro-LED。我们采用了碳化硅波导,这种材料非常酷,也很有挑战性,目前还没有成熟的供应链能让碳化硅晶体生长到这种尺寸,以制造这种清晰度的波导,当然这也是我们最终决定选择这款材料用于内部原型机的原因,以后我们可以试着用它来开发下一代原型机。
Bosworth展示了一块碳化硅晶体
不过也有一些好消息,那就是其他材料也有一些需要权衡的地方,如果没有超高折射率的材料,要保持良好视场角是非常困难的。但显然其他材料更便宜、更轻,比如玻璃,铌酸锂,高折射率玻璃等。我们仍然可以做很多实验,可以做出很酷的、非常沉浸、用户可以操控的视觉效果,最终令AR眼镜更便宜、更小、更薄,甚至可能更亮一点。所以我们在材料方面有一些权衡。
Marques Brownlee:这些产品的技术集成度也很高,技术含量也很高。可以说说你们是如何决定这些产品的未来的吗?你刚才提到现在少有成熟的碳化硅的供应链。那么你对探索其他材料有什么看法?这是否有可能为许多其他制造商打开一扇尝试碳化硅的大门,也许这将成为未来的发展方向?
Andrew Bosworth:这是个好问题,Meta一直都积极推进多方合作,保持多元化。我们也会说:当你在做一件如此冒险的事情时,经历的失败可能和取得的成功一样多。事实上我们有很多技术路线都走不通,但我们也有足够多的技术路线并行前进,其中一些还成功地开发出了整个产品。所以我们会继续研究硅和碳化硅,也在研究下一代的铌酸锂等新型材料。
实际上,在研究方面我们还做了一件很酷的事,我以前没跟别人说过。我们建立了一个大型语言模型,并根据材料特性对其进行训练,现在我们已经确定了一组候选材料,它们可能具有令人难以置信的光学特性,而且制造成本更低,重量更轻。
我们一直在和FAIR(AI团队)合作,看到了很多很酷的产品,从我现在戴着的Ray-Ban Meta到Orion眼镜,AI在其中发挥出色。那我有了AI之后呢?如果我真正想要的是更高效地获取建议,我还需要一个巨大的显示屏吗?那我是不是可以用视场角更小的显示屏、更小的产品、更便宜的产品,这样价格就会更合理?
Bosworth此前分享的的研究实验室动态
有趣的是,我们的研究团队中确实有一些人为此努力了很长时间。特别是Meta首席科学家Michael Abrash,他经历过几代计算机的发展,他曾说过在上世纪80年代花了相当于现代2.5或3万美元买了他的第一台电脑。我认为,作为精明的现代消费者,期望值要比这高得多,因此我们也想把价格压低。
但我很难想象完整的AR眼镜的价格会低于一部手机,因为它们的技术含量超过了手机。但我认为有很多产品都非常不错,我们希望能出现价位合适的产品。
Marques Brownlee:这很有趣,我觉得很多人第一次看到AR眼镜,都会觉得它又酷又有未来感,但其实不同价位的产品阵容都很有潜力。我原本也一直在说,谷歌眼镜已经领先时代很久了。因为每次看到这些,我总能想起谷歌眼镜也有这样的东西,虽然它看起来有点怪怪的。但我会想象在街道穿行时,视野的角落里有一个小箭头,告诉我下一站地铁该怎么走。你认为有什么杀手级应用能让人们相信AR眼镜是未来的趋势吗?
Andrew Bosworth:是的,就像我们行业里常说的:没有坏主意,只有坏时机。我认为,就谷歌眼镜而言,他们没有考虑到人们对眼镜外观的关注程度。这是我们试图在设计方面努力,并与Luxotica合作开发这些眼镜的原因之一。我想构建这个原型产品,是因为它是可运行的,你可以像使用操作系统一样使用它,自由访问应用。
我们还有很多想法想要实现,很多我们认为可能不会表现得很好的东西却做得很好。比如说视频通话,我还反问过自己为什么要用眼镜进行视频通话?实际上这个场景很有吸引力,可以让人解放双手(我也可以通过Codec Avatars为对方制作动画),而且也能边做事边接听视频电话。
不过我不认为我们已经找到了杀手级应用。但我发现,一些使用手机的细节确实不够方便,而我们低估了这些小动作造成的摩擦度。考虑到这一点,我们在Ray-Ban Meta上看到的摄像头,可以让你不用掏出手机就能快速记录生活瞬间。所以我们从这台原型机能学到很多东西,并且能够继续使用它。
Marques Brownlee:我很难想象没有智能手机的未来。但就你的观点而言,有一些类似的小设备会让人感觉它实际上比智能手机做得更好。比如说我现在一直戴着的这个神经腕带,我听你们说这是上限很高的输入装置是吗?
Andrew Bosworth:当然,我们还假设过,如果双手都有腕带,内置了同样的EMG技术,你也可以在休息的时候打字完成隔空打字了。因此我们认为这类设备有很多优点。而且我们还发现,人们非常喜欢触觉反馈,这也是我们制造腕带原型并将其投入使用的价值所在。触觉反馈能让自己感觉到在做什么,感受如何与系统互动。这也是我们可以开发的系统,也许在未来你可能只需要做出手势就可以完成书写了。
虽然我们用触摸屏取代了鼠标,但你不可能带着各种输入装置和AR眼镜到处走吧?我认为这是一种基于手势的语言的开端,你将不得不用它来与机器互动。
Marques Brownlee:所以我想最大的问题是,你是否真的预见到这将成为继智能手机之后的下一个计算平台?还是说从目前来看,Compute Puck是单独存在的,它们之间仍会相互影响。你觉得未来我们会不携带任何东西吗?还是说像每天使用电脑一样全天候佩戴AR眼镜?
Andrew Bosworth:我不想把话说得太满,但几个月前,当我戴上它(Orion)之后我第一次想象到没有手机的日子。我想说,就像有时候技术会取代技术,而更多时候技术会找到新的途径得以应用,比如我仍然会同时使用笔记本电脑和手机。所以我认为在可预见的未来中,这类产品也可能会和手机一起存在。
想象一下,在这个世界上,你有一个通用的神经接口装置(比如神经腕带等),以及戴着AR眼镜就能看到一个通用的显示屏。如果这个显示屏永久可见,是不是要以不同的方式设计一切?汽车、住宅、电器、时钟……它们有没有可能取消屏幕?如果神经接口装置操纵事物的能力也是永久的,这些设备有没有可能取消按钮?
因此,我认为这不仅会对我们是否携带手机产生影响,还会对其他实体产品的设计和制造方式产生影响,更不用说完全消除对某些实体产品的需求了。如果我们都戴上AR眼镜,我还需要在家里专门规划一整面墙来装大电视吗?
Marques Brownlee:是的,当你看到这些原型产品已经发展到了某个阶段,就会开始想象未来的它到底能有多好,这是我见过的该领域最有趣的技术之一,感谢你带我了解它。
参考链接: