沉浸式3D技术让世界杯鲜活呈现

由国际足联的3D实施跟踪数据驱动，英国和日本的球迷正获得一种全新的方式体验世界杯。

总部位于巴黎的Immersiv.io正与英国BBC和日本DAZN合作，提供此沉浸式3D体验。

该公司由工程师和体育爱好者斯特凡·盖兰和埃马纽埃尔·罗热于2016年共同创立，旨在通过沉浸式技术重新创造体育迷的体验。

罗热表示，“三年前，当各大联赛开始测试和部署骨骼数据时，Immersiv.io 开始构建其3D平台（ARISE）。”

该平台已针对多种运动项目进行测试，包括冰球、网球、篮球、美式足球，并在多个平台上运行（手机、网站、Meta Quest、Apple Vision Pro、三星Galaxy XR）。

在比赛中，实时骨骼数据被摄入平台，随后转化为比赛的互动式3D实时重建。罗热解释道：“骨骼数据包含每位球员的多个坐标，每秒多次发送，描述球员的实际移动情况。这些数据由安装在场馆内的摄像头捕捉；这部分工作并非由Immersiv.io处理，而是由与联赛/赛事签约的跟踪服务提供商处理。”

随后，数据被映射到球员的化身上，在3D环境中被制成动画，重现实时比赛。“我们开发了一套流程，能够根据球员的头部照片以及身高体重，大规模生成球员（和裁判）的化身。”

“与此同时，我们摄取来自转播商的直播音频，将音轨与3D重现同步。我们已研发出专门技术，自动实现视频或音频与骨骼数据、赛事统计数据的同步。”

这套工作流程同时利用AI与机器学习技术，既用于生成球员化身，也用于音视频与数据的同步。“这一环节对沉浸式体验至关重要，且实现难度通常极高，因为数据和音视频的制作工作流程完全不同。”

“我们还开发了专门的处理流程，用于改进和修正从数据提供商收到的数据。由于这类数据是实时采集的，有时会出现不一致、球员没有被准确跟踪或是一些抖动的问题，我们借助AI工具尽可能地提升3D重建。”

在BBC的3D环境中，球迷可以选择自己想要观看的内容，包括转播视角、战术视角、第三人称球员视角以及第一人称POV。

罗热补充道：“为了给用户提供更丰富的赛事洞察，我们会根据选中的POV（控球球员、传球可能性、到球门的距离、阵型线），在3D回放画面上叠加赛事数据与指标。”

一旦终场哨声吹响，赛后体验（3D集锦和全场完整回放）就可以立即上线。由于这两类内容都涉及回放比赛期间接收到数据，因此无需额外的处理。“赛事从直播切换到赛后状态的速度快慢，完全由BBC或DAZN自主决定。”

对于英国的球迷，BBC的3D体验通过网站或BBC体育App，提供全场比赛回放和集锦内容。而在日本，DAZN则将该技术应用于中场休息和赛后报道，针对同一个赛事动作，剪辑生成来自多个不同视角的3D回放。

当被问及是否认为这就是观看体育的未来时，罗热表示，随着技术与AI的发展，这类3D重建体验在未来数年内会不断改进。“我们的愿景是，它最终能达到和视频同等的逼真度，彻底变革赛事内容的制作方式以及球迷的消费方式！”