文/VR陀螺 冉启行
2023 苹果秋季发布会上,iPhone 15 Pro 系列带来了一个彩蛋功能——空间视频拍摄。
该功能将 iPhone 与 Vision Pro 进行了生态联动,不仅增强了 Vision Pro 的用户生活场景,更能为明年 Vision Pro 的销售埋下伏笔。
伴随着 iOS 17.2 beta 2 版本的推出,我们终于得以看见“空间视频”的真面目。本文,笔者通过 iPhone 15 Pro 空间视频拍摄,3D 内容格式转换、并基于市场主流 XR 硬件进行体验,推测未来产业风向。
空间视频拍摄需求:约50cm距离,要两倍内存占用
iOS 17.2 beta 2 中,空间视频拍摄功能需要用户主动启动。在 iPhone 主“设置”应用程序中,打开“相机”选项,然后打开“格式”,然后将“Apple Vision Pro 的空间视频”选项切换为“打开”。
当打开相机应用程序并将其切换为视频拍摄模式时,在左下角将看到一个 Vision Pro 的头显小图标。点击它将其打开(它会变成黄色),然后将 iPhone 旋转到横向就可以进行拍摄了。
图源:VR陀螺
值得注意的是,目前空间视频的拍摄参数中 1080P 分辨率、30 fps 是固定的设置,无法进行修改。在对于某一物体进行空间视频拍摄时,手机镜头离物体最近的距离被要求为至少约 50 cm以上——这与开启“人像模式”时类似,要求更远的距离,以获取更多的信息。
空间视频的拍摄需要用到 iPhone 15 Pro 的主摄镜头+广角镜头,两颗镜头的共同使用,最终形成具备“景深”效果的空间视频。当然,这样的拍摄和如此内容,也提升了其内存占用。
VR 陀螺实测发现,一分钟的空间视频拍摄会占用 120 M。相比之下,同等规格参数,普通视频拍摄的在 60M 左右。为了区分传统2D视频。空间视频拍摄完成后,视频的左上角会出现一个空间视频的表示符「空间」,文件后缀方面与普通视频保持一致,都为 MOV。
图源:VR陀螺
其他方面,与普通视频相比,空间视频在颜色描述文件上也有特定的区别,表示为“HD(1-1-1)”,普通视频则表示为“BT.2020 HLG (9-18-9)”,这是一组有趣的数据对比。
相关资料显示:HD (1-1-1) 和 BT.2020 HLG (9-18-9) 是两种不同的色彩描述文件,它们的色彩空间标签、传输特性和矩阵系数各不相同。HD (1-1-1) 是标准的 Rec.709 文件,这是一种应用于广播电视行业的颜色空间标准,其色域较窄,但广泛应用于各种显示设备上。
相比之下,BT.2020 HLG (9-18-9) 是 ITU-R BT.2020 标准的一部分,这是一种新的高动态范围(HDR)视频标准,其色域更广,亮度级别更高,旨在实现更加逼真的影像效果。
换言之,同等分辨率下,空间视频采用了比普通视频“一些参数”略逊一筹的色彩描述文件。采用 HD(1-1-1)可能是出于对空间视频的效果、效率、准确性和一致性的考虑,有待专业人士进一步探讨。
看完了拍摄空间视频的流程,以及其基本参数格式,我们再来看空间视频的播放。空间视频最初设定只能在 Apple Vision Pro 上进行体验,然而,通过由 @Naituw 开发的第三方软件 Spatialify 可以将空间视频转化为 SBS 这样更常见的 3D 视频格式,以在其他支持 3D 的设备上播放。
图源:VR陀螺
空间视频+三方软件,体验不止Vision Pro
“空间视频包含适用于你双眼的两路图像,如果这些图像能被投射到对应的眼镜里,就会产生 3D 效果。”在 Spatialify 的介绍里,我们看到了这样的空间视频原理解释。
这也意味着只要是能够“实现双目分别呈像”的设备,即可播放空间视频,并不局限于苹果Vision Pro。
图源:VR陀螺
目前,Spatialify 支持 2D 模式、平行眼模式、Cardboard 模式三种播放形式,并且用户可以在播放界面调整视频参数(画面缩放、瞳距修正),以通过手机观看。
通过“斗鸡眼”的方式,的确能看出 3D 效果,不过对于眼睛也确实有些许难受。好在 Spatialify 支持将空间视频导出其他 3D 格式,目前包括半宽左右格式(HSBS)、全宽左右格式(FSBS)、半高上下格式(HOU)、全高上下格式(FOU)四种格式。
视频导出界面有一个「水平视差整」的应用功能。据介绍空间视频可能包含“Horizontal Disparity Adjustment 元数据”,开启后,会根据该信息调整输出的视频图像可以得到更准确的视差效果,但会损失少量画面内容(通常少于 5%)。
还有一个名为 Spherical Video V2 的元数据选项。据介绍,开启后,Stereo3D 元数据(st3d box)将被写入输出文件,这可以帮助识别视频的 3D 格式和布局。此元数据支持 HSBS 和 HOU 格式,不过上传到的视频平台可能不能完全支持,如 YouTube 目前仅支持 HSBS。
图源:VR陀螺
做完了这一系列的复杂工作,现在我们终于可以在 VR 头显和 XR 眼镜上体验空间视频了。
体验部分:空间层次感,从设备到内容
(一)Quest 3自带播放器体验空间视频
通过 Quest 3 的文件管理器,可打开上述四种格式的 3D 视频,只需在播放器右下角进行选择即可。
图源:VR陀螺
“景深效果、距离感、3D感”,在打开功能键的那一刻真正体验到了苹果 Vision Pro 所宣传的空间视频的魅力。笔者也真正明白了它所包含的“空间”的视觉意义,即三维立体感,肉眼可以明显感受到物体前后的距离,层次较为分明,特别是当人左右前后移动时,效果更明显。
(P.S. 家人们,千万别拉大画面,走近看,差点晕死,满屏雪花,“沉浸感满满”,想吐。)
图源:VR陀螺
空间视频虽不像 360°/180° 全景视频那样拥有超大画面,但画幅小的一个好处在于它拥有足够高的清晰度,可以让用户更好体验到 3D 的魅力。整体立体感相对不错,不过,笔者在体验由 Spherical Video V2 元数据优化后的视频,会看到视频画面在移动中可能产生些许畸变。
另外,值得注意的一点是,空间视频在拍摄时,一定要注意拍摄物体本身物理空间需要存在一定深度差异,最终 3D 效果才会更加明显。正如苹果所宣传的那样,记录人在一定空间范围的场景活动,或是更好的 3D 拍摄对象。
图源:VR陀螺
从已体验过 Vision Pro 的部分开发者那里,笔者听到了“iPhone 15 Pro 拍摄空间视频效果更好的反馈”——在 Quest 3 的空间视频体验中。
(二)PICO 4:基于《空间西洋镜》体验
当然,对于国内用户来说,体验空间视频最好的 VR 设备可能还是亲民的 PICO 4,笔者也用 PICO 4 进行了简单体验,不过这次主要使用的是一款名为《空间西洋镜》的软件,在此感谢业内朋友的推荐。
《空间西洋镜》是一款可提供浏览空间照片、空间视频、并可以调节瞳距的播放器软件,由开发者 @Eis4TY(Github)打造,该软件兼容 PICO & Quest 平台。
与 Quest 3 的 MR 环境不同,《空间西洋镜》提供了一个沉浸式的“模拟室内”虚拟环境,实际体验会发现其 UI 似乎高度模拟 Vision Pro,主打简约美学。
图源:VR陀螺
从笔者上述导入的空间视频其实可以非常明显看到“手臂”与“背景”的距离感,并且手臂仿佛增加了如人像模式的“特写”一般。不过,体验并非完美,当笔者拉大播放器画框之后,在视频播放过程中,由于镜头的运动,可以看到空间视频边缘明显的畸变——这应该是手机拍摄本身带来的一些局限性。
有业内朋友指出,苹果 Vision Pro 的 UI 界面边缘有毛玻璃虚化,在播放空间视频时,边缘的畸变就看不出来了——不得不说这是一个十分巧妙(心机)的设计。
图源:VR陀螺
(三)雷鸟、Rokid分体式XR眼镜体验
除 VR 头显外,XR 眼镜同样支持空间视频的播放,笔者主要测试了 Rokid 和雷鸟创新的 BB 方案分体式眼镜。由于 iPhone 15 Pro 的 USB-C 接口,使得眼镜可以通过数据线直连手机,这使得空间视频的播放,变得更容易。而无需像 VR 头显那样,还需要一台电脑做文件中转站传输。
分体式 XR 眼镜的使用非常便捷,但是这就不太利于笔者录素材了,只能通过手机摄像头二次拍摄。以下图片仅供参考,空间视频体验请以实际为准。
市面上不少 XR 眼镜支持 3D 格式的视频播放,不过仅限于左右格式,也就是 HSBS 和 FSBS。XR 眼镜直连手机后,即可打开 3D 视频。需注意:XR 眼镜通常默认投屏 2D 显示画面,若需播放 3D 视频,雷鸟 Air Plus 可通过长按左侧拨轮按键,Rokid Air 长按亮度键 4 秒。
图源:VR陀螺
相比于,VR 头显的空间视频播放——基于 iPhone,在分体式 XR 眼镜上的体验,可以说是一个固定的大屏,虽然没有 6DoF 那样可随意走动的自由,不同角度的观察,但是 3D 的立体感受依然深刻,值得体验一番。
另外,在实际体验中半宽左右格式(HSBS)在 XR 眼镜上播放时,会感觉画面被切割掉了一半,让本就近视的笔者,只能睁一只眼闭一只眼感受 3D ,十分难受。
从PGC到UGC,手机3D拍摄未来或成标配
空间视频的出现,为视频内容的生产和消费带来了新的变化。
以往 3D 拍摄需要专业的设备和技术,只有影视制作公司或专业机构、摄影师才能完成,而且成本高昂,播放方式也受限。这导致了 3D 视频内容的供给相对稀缺,主要以 PGC(专业生产内容)为主,而 UGC(用户生产内容)近乎没有,很少流通。
iPhone 15 Pro 空间视频拍摄功能的出现,打破了这种局面,让 3D 拍摄的门槛降低到了手机,让普通用户也可以轻松拍摄出具有立体感和逼真感的视频,从而有利于促进 UGC 的发展。空间视频的 UGC,不仅可以丰富视频内容的多样性,也可以激发用户的创造力和参与度。
用户可以利用空间视频,来记录自己的生活、旅行、工作等场景,让观众有一种身临其境的感受;也可以利用空间视频,来表达自己的观点、情感、想象等,让观众有一种与作者共鸣的感觉。正如此前笔者在另外一篇文章中所述,新的内容展现形式崛起的背后,或会有新的大平台出现,再造一个 XR 版“抖音”神话。
图源:网络
苹果一直是智能手机行业的创新者、引领者,伴随着 iPhone 15 Pro 系列空间视频拍摄的支持,相信其他手机厂商也不会任由其壮大,从布局到落子是一个时间节点配合的问题。
根据最新消息显示,国内手机巨头华为明年将推出 VR 眼镜产品,定位高端旗舰产品,对标苹果 Vision Pro,将搭载旗舰处理器,并拥有内部风扇驱动散热模块、支持外接电池等。另据韩媒报道,三星电子移动体验部门已于近日确认其 XR 设备将于明年 12 月实现批量生产,初始产量(出货量)设定为 3 万台。
其他手机厂商,包括 OPPO、vivo、荣耀等也有相关动作。基于手机的 3D 拍摄,或成未来三年内手机摄像头内卷的下一个功能指标,而 XR 硬件也将在这内容沉淀的时期,逐步扩大发展。