强强联合!快手携NVIDIA 打造数字人圣诞专场,开创直播新纪元

IP归属:广东

随着Z世代的到来,元宇宙概念正在应用于多个领域,虚拟主播也开始成为新的表现形式,这里面就包括了快手官方虚拟主播“关小芳”。这位23岁,爱好是干饭、撸铁和买买买的虚拟主播自首次亮相以来,便凭借着有趣讨喜的人设逐渐成长为快手老铁喜爱的全能主播。

12月25日,快手与NVIDIA强势联合,邀请虚拟主播关小芳与它背后的NVIDIA程序员小姐姐Alice,与广大粉丝玩黑科技过圣诞!真人与虚拟主播的完美碰撞,恰逢世界杯刚刚落下帷幕,本场直播还引入了虚拟足球赛,与在线粉丝同频互动,更有多种魔法表情的玩法挑战,只为带给粉丝最好的互动体验。

本场直播共有382万人次观众参与了本次直播,有效观看用户数435.7w,实时最高在线人数3.7w。在关小芳和Alice的带队下,粉丝们对于人工智能、加速计算、虚拟数字技术有了进一步的理解。

http://mdloss.oss-cn-shanghai.aliyuncs.com/230110201626931389104.jpeg

一场加时球赛,点亮2022年的平安夜

2022卡塔尔世界杯为人们奉上了无数精彩时刻,球迷们除了聚焦绿茵场上的角逐,也在比赛之外感受着浓厚的世界杯氛围。本次直播就新增了一场加时球赛,让球迷们过“足”瘾。

http://mdloss.oss-cn-shanghai.aliyuncs.com/2301102016261112556245.jpeg

有机会参赛的粉丝,入场后会自动生成虚拟形象,进入到不同的阵营。比赛开始后,奔跑、跳跃的操控非常丝滑,如同身临其境!更有变大的特效效果,增加了比赛的可玩性,现场感十足。除了真实感、沉浸感以外,这个球赛最特别的是,每个参与的粉丝都会由于他们不同的活动轨迹而看到不同的场景,实现虚拟互动“千人千面”的效果。

据悉,直播中展示的小芳圣诞足球赛,是由快手推出的「快手虚拟演播助手Kuaishou Virtual Studio(KVS)」软件来实现的。KVS可以让传统直播间变成“元宇宙直播间”,为智能文娱、虚拟拍摄、直播电商等带来新的机遇。KVS支持主播实时表情和动作驱动数字人,置身精美的3D虚拟世界场景中,还支持观众化身Avatar第角进一人称视入“元宇宙直播间”,实现与主播和其他用户的个性化沉浸式互动。KVS具备优秀的易用性,可有效提升直播间人气和消费, 更好传递品牌价值。

在构建高品质直播画面的过程中,往往会面临许多挑战,这些挑战在沉浸式的元宇宙足球赛中要求更高。NVIDIA全栈式AI加速平台可加速和增强直播所需的视频、图形。凭借全新的NVIDIA Ampere架构、更完善的视频编解码器、RT Core核心、Tensor Core核心、统一的CUDA架构以及大量SDK和软件工具,为直播各环节提供全面支持。

在足球赛中,每一个自动走动的形象,以及参与互动用户自己的独特视角实现,都体现了云端并行渲染能力的支持。NVIDIA CloudXR是一个在广域网下助力XR内容传输的云渲染解决方案,可以很好地丰富XR内容。通过NVIDIA GPU的加持,再经由网络传输,可以轻松串流到各个不同的电子设备上,包括AR眼镜、VR头盔等。有了NVIDIA CloudXR的编解码和串流能力,精美的画质,顺畅的体验唾手可得。这种模式打破了过往统一画面的视觉体验,让观众更有参与感,能和主播更接近。在这个过程中,NVIDIA GPU就像能量池一样,为直播间源源不断地提供储备好的算力能量。

揭秘关小芳背后的硬核科技和应用场景

在本次直播中,最引人瞩目的莫过于关小芳的小伙伴——来自NVIDIA的程序员小姐姐Alice,也是关小芳背后的开发人员之一。

关小芳是快手首个基于多模样AI捕捉驱动能力和实时真实感渲染打造的虚拟主播。很多粉丝在体验之余,也不禁好奇:关小芳是如何实现与粉丝实时互动交流的?她背后的技术又是什么?

据Alice介绍,数字人的生产可以拆分成人物建模、人物驱动、人物渲染和感知交互四个作业环节。数字人完成人物建模后,会做进一步的美化设计及渲染。最后让中之人穿上动捕设备,进行实时的动作表情捕捉,来驱动数字人的活动。

NVIDIA专为3D协作、逼真渲染及仿真打造了NVIDIA Omniverse平台。借助Omniverse Avatar Cloud Engine(ACE)引擎能力,能够加速数字人生产的每个作业环节,将数字人的创作周期大幅缩短,创建出具备3D光追的特性,还能够和人类实现交互,并合理理解以及表达其意图的数字人。

如下图所示,直播中展示的NVIDIA创始人兼首席执行官黄仁勋的数字分身“Toy Jensen”唱圣诞歌的画面,就展示了最新的语音驱动面部情绪的算法工具Audio2Emotion的最新效果。借助Audio2Face,Audio2Gesture以及Face vid2vid等算法工具,虚拟数字人的语音和表情还能得到进一步的优化和升级,未来将支持关小芳与粉丝更好地互动交流。

http://mdloss.oss-cn-shanghai.aliyuncs.com/230110201626905173749.jpeg

在互动中,关小芳和Alice还展示了酷炫的特效、道具以及多款魔法表情,包括快手最新研发出来的 #张凤琴这局我赢定了 的新春魔法表情。在该款魔表互动中,关小芳的好朋友,同样由快手研发的虚拟歌手“神奇少女张凤琴”,与用户拍摄的虚拟形象坐在炕上打扑克唠家常,非常喜庆。配合视频默认的声音台词,用户眨眼、张嘴、抬眉毛、吐舌头等微表情和细微动作都能被精准还原,十分逗趣。

http://mdloss.oss-cn-shanghai.aliyuncs.com/230110201627890064141.jpeg

在技术层面,数字人特效道具的本质是一种数字资产,基于收集到的动作数据/3D资产等,加上算法模拟和渲染,在NVIDIA计算加持下,实现酷炫的特效和有趣的道具使用。比如关小芳手持的道具,就是先制作这个美术资产后,确定好手部和道具的位置关系,通过按键、手势或其它触发方式呈现出来。又比如小芳使用了大哭特效,开发人员会提前收集小芳大哭的动作数据,再加上眼泪的3D资产,利用算法将两者融合起来,形成小芳大哭。又比如小芳非常喜欢的翅膀道具,在这里翅膀是一种3D资产,小芳会提前进行飞翔的动作模拟,最后用算法融合有飞翔动作的小芳和翅膀,并通过渲染,最终达到小芳飞翔的效果。

直播间特效,则分为2D特效和3D特效,是先设计好呈现效果,再进行开发的。相比道具,直播间特效会有一些交互上的考虑,比如人脸表情变化是否产生不同特效,比如特效是否随时间变化有所变化等。

比如,在本次直播中看到的圣诞树点亮、放烟花等一系列的直播间特效,是得益于NVIDIA的AI加速计算和低时延渲染加以实现。以虚拟形象和虚拟空间为载体,基于实时的数据,对虚拟物体进行实时的渲染,这种互动玩法的设计,背后都有它的触发机制,比如圣诞树点亮,就是当点赞数增加到一定程度就能触发点亮这个动作。保证了观众都能看到并且参与到这个变化的过程,感受沉浸式互动的乐趣。

强强联合 推动直播形式新元

快手作为国民短视频平台,与NVIDIA打造的本次圣诞专场直播,不仅异于其他直播形式,同时出现众多直播领域新技术,新玩法,其中以虚拟互动“千人千面”的技术最为突出,为粉丝们带来沉浸感十足的打卡互动体验。此次快手与NVIDIA的强强联合,不仅能在传统直播形式的基础上创新发展,带给粉丝们更加新颖的、互动性更强的直播内容,同时也能够激发科技产品创新能力,为未来打造更加信息化、科技化的产品打下基础,激活竞争力,诞生更有利的价值。科技源于生活,也同时服务于生活,相信在双方团队的碰撞下,快手将持续在内容理解、视频特效、数字人、直播等领域持续创新,将更多优质内容分享给广大用户。

*声明:企业通稿非陀螺科技官方稿,法律问题一切与陀螺科技无关。

本文来源:陀螺科技 文章作者:陀螺科技
收藏
举报
陀螺科技
累计发布内容188篇 累计总热度10万+

陀螺科技现已开放专栏入驻,详情请见入驻指南: https://www.tuoluo.cn/article/detail-27547.html

陀螺科技专栏: https://www.tuoluo.cn/columns/author1286782/

本文网址: https://www.tuoluo.cn/article/detail-10104704.html

免责声明:
1、本文版权归原作者所有,仅代表作者本人观点,不代表陀螺科技观点或立场。
2、如发现文章、图片等侵权行为,侵权责任将由作者本人承担。

相关文章