编译/VR陀螺

6月16日，英伟达正式发布面向开发者的XR AI程序库，打通AR/XR硬件采集的输入信号，联动AI大模型、企业数据、各类工具与加速算力，打造出可感知、能推理、可介入工作流的空间智能体，推动AI从纯数字交互走向实体物理场景。

该程序库为开发者提供底层基座，可自主搭建或接入企业XR应用所需的能力组件与工具，大幅简化多模态感知、企业知识库检索、推理大模型、智能体协同调度的集成流程。依托这些能力，开发者能更轻松开发具备空间感知、多模态交互的AI Agent，在AR、XR沉浸式场景中提供低延迟、贴合现场环境的实时辅助。

平台整合四大核心能力：

• 接收AR/XR设备采集的现实信号，包含视频、音频、深度图像、位姿信息与各类传感器数据；
• 为Agent对接专业工具与云服务：NVIDIA Metropolis、配套视频检索摘要工具VSS，用于视觉AI与视频内容解析；英伟达NeMo检索器，用于企业知识库检索与检索增强生成（RAG）；
• 兼容丰富的AI大模型生态，涵盖英伟达Nemotron推理模型、英伟达Cosmos Reason及其他主流基础大模型；
• 集成Agent调度引擎与加速运行服务，帮助开发者快速完成从原型开发到商用落地的过程。

英伟达NeMo智能体工具包提供工具调用、推理工作流、多智能体协同能力；英伟达全系列加速计算硬件DGX Spark、DGX工作站、RTX专业图形工作站，为云端、数据中心、边缘端全场景推理提供算力底座。

依托整套能力，AI Agent可感知周边环境、调取企业内部知识、拆解复杂任务逻辑，实时输出贴合场景的辅助信息。

该技术已在多行业完成落地验证。工业领域，西门子基于XR AI与DGX Spark搭建车间辅助系统，工程师佩戴轻量化AR眼镜即可实时排查PLC设备故障，联动数字孪生与自动化产线获取维保指引。

科研赛道，AutoBio旗下Rana推出LabOS科研操作系统，依托空间AI Agent辅助干细胞、CRISPR基因编辑实验，自动记录标准化实验流程，兼容Meta、Rokid、VITURE AI眼镜。VITURE进一步将其集成至穿戴终端，为一线从业者提供免手持作业指引。

医疗端，匹兹堡大学医学中心借助XR AI与DGX工作站打造外科辅助方案，系统智能规避手术关键视野遮挡，在不干扰操作的前提下推送诊疗信息。

汽车设计企业Innoactive利用该平台留存沉浸式评审数据，实现数字孪生设计流程标准化；知名沉浸式媒体工作室Atlantic Studios依托该技术打造泰坦尼克号沉船交互数字场景，用户可通过语音实时检索古迹相关资料。

英伟达表示，具备环境感知、工具调用、企业知识库调取、人机协同能力的AI Agent已成为新型数字化劳动力。XR AI将为工厂、医院、实验室、沉浸式内容场景提供完整开发底座，让自治式AI深度融入一线实操工作。

来源：英伟达