杭州第19届亚运会不仅是国际顶级体育盛会,更是一场精彩绝伦的中国科技盛宴。本届亚运会中,快手StreamLake与杭州电信深度合作,联合打造智慧观赛新体验,在击剑赛事的转播中,全面应用了快手StreamLake六自由度技术,其中“子弹时间”也是首次应用于击剑项目国际顶级赛事。
中国电信杭州分公司智能亚运专班组长芮杰表示,依托快手StreamLake自研的4K 3D虚拟运镜视频技术和中国电信5G/全光网,通过赛场内部署的4K专业摄像机阵列实时采集的高清竞赛视频,在云端实现“子弹时间”的超高清渲染,3秒内输出比赛的精彩瞬间,在画质和时效性方面都达到了行业领先水平。
黑科技“子弹时间”首次应用于国际级击剑赛事
在击剑比赛中,运动员的反应速度和肢体动作极快,交锋得分就在一瞬间,加之转播镜头视角等问题,观众往往很难看清比赛细节,关键时刻的赛事回放必不可少。为了让观众能够看清、看懂击剑比赛,此次亚运会期间,击剑项目第一次在国际级赛事中使用了“子弹时间”技术。
“最终的落地效果超过了赛前的预期。”快手六自由度技术负责人盛骁杰表示,在赛前评估时,技术团队考虑到击剑的场地较小,曾担心不一定能把“子弹时间”的3D虚拟运镜的效果优势充分发挥出来。击剑被称为“格斗中的芭蕾”,比赛的胜负往往取决于电光火石的一瞬间,选手的格斗技巧、身体柔韧、拼搏精神都凝聚在这个瞬间释放出来,为了更好地呈现击剑赛事,技术团队经过努力,实际呈现效果远超预期。
“子弹时间”技术的运用,有助于帮助观众看清、看懂比赛细节,推动击剑运动的普及。以往,观众通常很难看清击中得分的一瞬间,所以特别需要借助慢放和回放来帮助还原比赛,尤其是一些争议剑,还有双方几乎是同时击中的情况。在 “子弹时间”技术加持下,能够更好地360度还原比赛关键瞬间,让观众能够看清楚是谁先击中了,以及具体击中了哪个部位。
例如,在亚运会女子个人花剑比赛直播中,快手“子弹时间”技术精彩还原了中国选手黄芊芊一路过关斩将并最终夺得冠军的每个拼搏瞬间,尤其是在半决赛和决赛中,更是360度定格了她赢下比赛的关键一剑,让观众全方位、沉浸式体验夺金一刻。
量身定制专属方案 全面提升亚运观赛体验
继2022冬奥会、“村BA”等体育赛事后,快手此次在将“子弹时间”技术应用于杭州亚运会击剑赛事转播的过程中,还基于比赛现场情况和直播效果需求等差异化特点,进行了定制策划,从机器部署、技术突破等多个维度,全面提升用户的亚运观赛体验。
针对本届亚运击剑项目转播的具体场景,六自由度技术实现了量身升级。据盛骁杰介绍,首先是服务器空间小,方案更轻量化。基于击剑场馆内TOC房间空间比较狭小,此次快手采用了轻量化方案,仅需一台现场服务器即可完成全链路的信号制作,大大地降低了对于制作场地的要求。
其次,机器部署规模小、位置灵活。以往普通技术需要在场内布置上百个相机,而六自由度技术仅需30余台相机即可。在亚运会击剑馆中,快手结合场地实际情况,将相机部署在观众席二层,通过3D虚拟运镜技术,可以同时把“子弹时间”覆盖至主赛道以及两个分赛道,在保障了任意方向的观众视线的同时,避免了对场馆内其他运行功能造成影响。
第三,清晰度大幅提升。相较于其他国际赛事,本届亚运会中,快手采用了全链路4K 3D虚拟运镜技术,提升整体制作的清晰度和丝滑性,最终在大屏上的呈现效果做到清晰流畅,达到了国际大赛转播的清晰度要求。
在此基础上,快手还重点突破了击剑赛事直播中的一大技术难点——快速运动的小物体的3D建模问题。以花剑为例,剑的直径仅仅为几毫米,且在击剑过程中会极快速地运动,导致拍摄画面的动态模糊。开赛前,快手技术团队特别购置了两把剑进行算法效果的测试和调优,最终很好地解决了建模问题,保障了最终输出高清渲染的画质,让细节呈现更清晰。
第四,效果更丝滑流畅。快手3D虚拟运镜技术,通过3D重建来构建空间中虚拟相机的丝滑运镜,相比行业内普遍采用的相机矫正拼接方案,一方面可以减少50%以上的相机数量,另一方面整体运镜效果也能够更丝滑流畅。
此外,本次快手还采用了云渲染的链路,将大量复杂的3D重建和渲染工作放到云端进行计算,在保障生产时效性和清晰度的同时,本地无需大量算力的辅助,显著提升了效率。
应用场景不断拓宽 技术助推小众体育项目普及
快手StreamLake六自由度技术正应用于越来越广泛的体育赛事直播场景。目前,六自由度技术一般在足球、篮球、体操等项目中应用较多,而在击剑类型的赛事中则应用较少。
“最初测试,我们也很惊喜,对于击剑这种场地空间相对较小的赛事,六自由度技术也有很大发挥空间,更多应用可能。”在盛骁杰看来,每项运动都有其独特的特点,六自由度技术作为“多面手”,覆盖面非常广泛,在攻防动作上捕捉清晰,能够呈现360度视角,同时在微观细节上,也能定格0.01秒精彩。
高超的技巧性、拼抢的激烈性是体育精神的永恒主题。目前,六自由度技术已实现子弹时间、虚拟运镜、自由视角交互等效果,并支持3D空间剪辑创作,快手StreamLake技术团队表示,希望能通过六自由度等技术的加持,更好地展现运动员的竞技水平和拼搏精神,提升转播精彩程度,助力击剑等相对小众的体育项目普及。
好文章,需要你的鼓励
浙江大学和吉利汽车研究院联合团队提出的FreeTimeGS是一种创新的动态3D场景重建方法。不同于传统方法,它允许高斯基元在任意时空位置自由出现,并赋予每个基元运动功能,使其能够随时间移动到相邻区域。研究通过4D正则化策略解决了高不透明度基元阻碍优化的问题。在多个数据集测试中,该方法在渲染质量和速度上均大幅超越现有技术,特别是在处理复杂动态场景时,使用单个RTX 4090 GPU能以467 FPS的速度实现1080p实时渲染,为电影制作、游戏和虚拟现实等应用提供了新可能。
这篇研究介绍了"对角线批处理"技术,该技术解决了循环记忆Transformer模型在处理长文本时的并行计算瓶颈。通过重新编排计算顺序,研究团队实现了在不破坏依赖关系的情况下进行并行计算,使LLaMA-1B模型处理长文本的速度提升3.3倍,同时内存使用减少167.1倍。这种纯运行时优化不需要重新训练模型,为实际应用中的长文本处理提供了高效解决方案。
BEVCALIB是一种利用鸟瞰图表示实现激光雷达与相机校准的创新方法,由南加州大学和加州大学河滨分校的研究团队开发。该方法将不同传感器数据转换到共享的BEV空间,并通过几何引导的特征选择实现高精度校准。在KITTI和NuScenes等数据集上,BEVCALIB比现有最佳方法平均提高了47-82%的性能,为自动驾驶和机器人系统提供了可靠的传感器融合基础。
博尔扎诺自由大学研究团队开发的PATS技术通过保留完整运动片段代替随机抽取视频帧,显著提升了AI评估体育技能的能力。该方法在EgoExo4D基准测试中表现出色,攀岩评估准确率提高26.22%,音乐提高2.39%,篮球提高1.13%。PATS能根据不同运动类型自动调整采样策略,为体育训练和人才发展提供了更准确的自动评估技术。