11月12日-13日, 2022世界VR产业大会云峰会在南昌举办。在超高清分论坛上,华为云媒体服务产品部曹俊表示,3D互联网时代,内容制作由实拍走向虚实融合,带来虚拟演唱会、数字人综艺、虚拟偶像晚会等创新应用场景。华为云主张,以云上方式构建轻量化的虚拟制作新模式,通过基于云原生媒体基础设施的云上虚拟制作解决方案,带来实时、协同、体验、效率、创新5方面的升级,重塑虚实融合制作生产力,让优质的虚实融合内容触手可及,得到更广泛的应用。
端云协同的虚拟拍摄系统,实时轻量化,海量算力随需调用
近年来,数字内容的制作方式从摄像机实拍转向虚拟制作,传统的制作设备全在线下,设备繁多,组网复杂,成本高昂,也逐渐无法满足数据、算力爆炸式增长的诉求。
华为云专家指出,以云上方式构建轻量化的虚拟制作新模式,能够通过端云协同的虚拟拍摄系统,完成数字人实时驱动、渲染,以及实拍和虚拍的实时合成,实现轻量化、所见即所得,边拍边改的新模式。
通过华为云可随时按需调用云上海量算力,减少线下设备和组网的复杂度,实现轻量化的虚拟拍摄。拍摄时,导演无论在现场还是异地远端,均可实时观看合成效果,所见即所得。同时,虚拟内容可配合实拍现场进行远程实时修改更新,并将虚实融合画面传回监控屏,实现边拍边改,这在传统流程中是无法做到的。
全云化的虚拟制作生产线,跨地域多团队高效远程协作
除了数据及算力,随之带来的挑战还有虚拟制作对跨团队协作提出的更高要求,随着行业分工进一步细化,多个团队异地合作同一个项目已是常态化的模式。传统的协同模式,工作流中拍摄和制作的各个环节是串行的,实拍和虚拟素材在后期通过硬盘传送,不仅涉及大量人力、硬件的投入和管理,也存在不同公司存储方式不统一、内容反复拷贝造成泄露风险的问题。
面对协同方面的挑战,专家表示,通过全云化的虚拟制作生产线,可覆盖项目前期和后期的内容生产制作全流程。以华为云Workspace云工作站为平台,实现一站式云上制作、跨地域协同、多终端接入的高效协同。
拍摄过程中,素材可直接上传到云上,后续的合成、渲染、后期直接在云上完成,实现数据不落地,安全可靠。拍摄及制作的各个环节,可以让跨地域的多团队在云上协作,虚拟资产、实拍素材云上分权共享,实现高效的项目分包,扩充产能。云工作站屏蔽终端性能差异,云上配置所需规格,团队成员可在电脑、笔记本、平板、手机等终端接入云工作站,摆脱时间和空间限制,更加灵活自如地开展工作。
随时随地接入云工作站,超高清流畅体验
为了在云上创作依然拥有高清流程的体验,华为云通过华为自研的HDP高清传输协议,基于华为云“全球存算网”,打造核心竞争力。
Workspace云工作站最高支持4K60帧显示,通过YUV444无损采样和专业10bit色深,满足专业视觉传达领域的色彩准确性的高标准。无论是终端还是外设,操作体验可保障端到端平均时延低于100ms。针对不同网络环境自动适应,智能平衡清晰度和流畅度。在确保高保真超高清的显示基础上,实现高清低码率,同等视频质量下,流量降低50%,降低带宽成本。
全流程AI赋能,释放虚拟制作生产力
虚拟制作在内容开发、特效制作环节,模型生成、动画绑定、动画设计等,有70%的成本投入在手工操作上,不仅生产周期长,而且人力和设备成本高,效率低下。
通过调用云上多样的智能媒体处理技术,虚拟制作可以实现对实拍后期的智能处理,如智能擦除、智能替换、智能合版等。在虚拟内容生产中,AI可加速数字人生成、建模、绑定、驱动等各个环节。通过华为云MetaEngine云原生智能渲染引擎,将云、AI和计算机图形学技术相结合,视频离线渲染效率提升2倍,实时光追渲染进一步提升画质。
音视频创新技术,为虚实融合制作带来更多可能
Audio Vivid是世界超高清视频产业联盟联合数字音视频编解码技术标准工作组(简称AVS),共同制定的新一代空间音频编解码技术标准,华为已经全面支持了这一代技术标准。Audio Vivid空间音频解决方案,可提供全套的声音采集、制作、重放的方案和设备,突破声道限制,声音可以在三维空间中精确放置和移动,适应不同回放环境。通过声源所处的空间位置、变化轨迹和速度、反射、强弱等因素,完整的模拟人在真实空间中的听觉体验,为听众提供极致的沉浸式听觉体验。
传统的拍摄模式,无论是绿幕抠图还是自由视角,都是固定位置,拍摄完毕后无法修改。体积视频是一种革新式的制作方式,将真人进行3D建模,动态模型叠加到虚拟/现实背景中,导演可自由设定运镜轨迹,实现自由的、更加酷炫的视听体验。这需要强劲的算力支撑,线下制作一个1分钟的视频需要几天时间,而云上可在1小时内完成,在AI技术加持下,视频效果更自然。
一切皆可创造、一切皆可想象。在迈向3D互联网时代的路上,需要聚合产业各方力量一起探索,共同创新发展、创造更大价值。VR以及音视频媒体产业已经进入高速发展阶段,一个更大的产业发展周期已经到来,华为云的海量算力、高性能存储、全球网络、云原生媒体引擎,以及AI、区块链等产品和服务,将更好地支撑VR以及音视频媒体产业的全面快速发展。目前,华为云已发布了媒体产业生态伙伴合作方案,也将携手更多的同路人共建云上虚拟制作模式,拥抱数字媒体新未来。
好文章,需要你的鼓励
数字孪生技术正在改变网络安全防御模式,从被动响应转向主动预测。这种实时学习演进的虚拟副本让安全团队能够在威胁发生前预见攻击。组织可以在数字孪生环境中预演明日的攻击,将防御从事后反应转变为事前排演。通过动态更新的IT生态系统副本,团队可在真实条件下压力测试防御体系,模拟零日漏洞攻击并制定应对策略,从根本上重塑网络安全实践方式。
香港中文大学联合上海AI实验室推出Dispider系统,首次实现AI视频"边看边聊"能力。通过创新的三分式架构设计,将感知、决策、反应功能独立分离,让AI能像人类一样在观看视频过程中进行实时交流,在StreamingBench测试中显著超越现有系统,为教育、娱乐、医疗、安防等领域的视频AI应用开启新可能。
Linux内核开发面临动荡时期,Rust语言引入引发摩擦,多名核心开发者相继离职。文章介绍了三个有趣的替代方案:Managarm是基于微内核的操作系统,支持运行Linux软件;Asterinas采用Rust语言开发,使用新型framekernel架构实现内核隔离;Xous同样基于Rust和微内核设计,已有实际硬件产品Precursor发布。这些项目证明了除Linux之外,还有许多令人兴奋的操作系统研发工作正在进行。
Atla公司发布Selene Mini,这是一个仅有80亿参数的AI评估模型,却在11个基准测试中全面超越GPT-4o-mini。通过精心的数据筛选和创新训练策略,该模型不仅能准确评判文本质量,还能在医疗、金融等专业领域表现出色。研究团队将模型完全开源,为AI评估技术的普及和发展做出贡献。