编译/VR陀螺

据悉，Meta 研究员为Codec Avatar 2.0开发定制芯片，以使逼真的Avatar能在独立头显上运行。

Meta 于2019年展示“Codec Avatars”（Meta 逼真的虚拟化身系统）相关成果。Codec Avatars 由多个神经网络提供支持，借助搭载171颗摄像头的捕捉装置生成。一旦生成，这些Avatar能够被拥有5颗摄像头（两颗在内部观察眼睛，三颗在外部对脸部进行追踪）的原型VR头显实时驱动。

3月展示过后，研究人员还对该系统的多次革新做了演示，比如眼睛更逼真的版本，只需眼睛追踪与麦克风输入的版本，以及真实感最强的2.0版本。

但在像Quest这样的独立头显上使用移动芯片去驱动逼真的虚拟形象并非易事，即使是Meta最新、最高效的模型也只能在Quest 2上以每秒50帧的速度渲染（解码）五个Avatar，这还不包含将眼动追踪和面部追踪输入转换（编码）为Codec Avatar面部状态。

图源：uploadvr

2022年IEEE定制集成电路会议上，Meta发表了一篇论文，其研究人员展示了一种神经网络加速芯片的原型，该芯片“在Codec Avatar模型上对眼球注视行为进行提取更为高效”。

定制芯片位于主板上眼动追踪摄像头输入的附近，并负责将这些摄像头输入转换为 Codec Avatar 状态，以减少移动设备的组件之间传输数据所需的大量能量。研究人员指出，这也有利于隐私和安全，因为通用处理器无法访问原始相机数据。

图源：uploadvr

需要明确的是，这款芯片还只是一个实验，仅处理 Codec Avatars 工作负载的一小部分，而不是一个可在独立头显上使用的通用解决方案，所有其他任务依然由常规芯片组（例如 Snapdragon XR2）承担。

即便如此，Meta 这款定制芯片还是证明了定制芯片解决Avatar问题的可行性。从理论上讲，这一想法可能会在未来得到扩展，用于处理更多针对VR的任务。

来源：uploadvr