本文来自微信民众号：机械之心（ID：almosthuman2014），原题目《温网停赛，AI不停赛：斯坦福新研究模拟网球名将打竞赛》，编辑：陈萍、魔王，题图来自：视觉中国

和许多其他顶级体育赛事一样，世界上最古老的网球赛事温布尔登网球锦标赛也是 COVID-19 大盛行的受害者。今年 4 月初，温网官方宣布今年赛事作废。

赛事无法照常举行，我们就看不了网球竞赛了吗？也不尽然。克日，来自斯坦福大学的研究团队行使 AI 模子真切地模拟了温网决赛和其他竞赛。

现在大量体育剖析行使海量竞赛视频建立对运发动行为的展望模子，受此启发，斯坦福的这项研究将这种建模方式与基于图像的渲染相连系，构建出可交互控制的视频，来模拟顶级网球职业选手的气概和显示。

例如网球名将费德勒（Roger Federer）和诺瓦克 · 德约科维奇（Novak Djokovic）的对决。这两位在各项赛事中交锋多次，斯坦福大学建立的系统基于他们之前的竞赛视频，开启了二人之间的新一轮 battle：

这个系统还能建立一些从未见过的“名排场”，好比费德勒和“自己”打球：

费德勒与小威（塞雷娜 · 威廉姆斯）对战：

除此之外，该系统建立的视频支持交互控制。好比你可以控制网球的落点和运发动击球后的回位：

你甚至可以“修改”之前的竞赛，好比 2019 年温网男单决赛中小德与费德勒那场史诗级对决：

斯坦福建立的这个系统可以修改这场竞赛中的要害一球，推翻原来的竞赛效果。

更多效果展示，请戳以下视频：

那么，这个系统是若何实现真切且可交互控制的视频效果的呢？

论文简介

论文地址：https://arxiv.org/pdf/2008.04524.pdf

项目页面：https://cs.stanford.edu/~haotianz/research/vid2player/

斯坦福大学提出的系统，可将带标注的网球竞赛视频转换为可交互控制的视频，其中运发动的行为和显示都和职业网球运发动相似。

该论文方式基于可控的视频纹理，以带标注的网球视频数据库作为输入，该数据库的标注为主要的竞赛信息，如触球的时间和位置、击球类型等。

研究人员在构建数据库时重点关注温网赛事视频，包罗罗杰 · 费德勒、拉斐尔 · 纳达尔和诺瓦克 · 德约科维奇等热门选手的竞赛；以及 2018 年和 2019 年温布尔登网球锦标赛上小威廉姆斯对阵西蒙娜 · 哈勒普和卡米拉 · 吉奥尔吉的竞赛。

该系统将带标注的温网赛事视频转换为可交互控制的视频

数据库中每个运发动都有几千个镜头。研究人员行使这些数据点建模位置和击球决议，并构建行为模子，以反映特定球员在球场上的位置以及在特定情况下他们最有可能的击球方式和位置。

行使带标注的击球周期（shot cycle，包罗每次击球时从准备、击球到回复的一系列动作）数据库，研究人员构建了运发动行为的统计模子，该模子在击球周期最先时输入“点状态”（point-state），并天生球员的击球选择和回位决议。

shot cycle 示意图

该行为模子可以选择能够反映真实运发动在给定竞赛状态下执行动作的视频片断，并天生新的视频，通过捕捉真实场景的计谋和倾向来真切地反映运发动的外观、动作气概以及击球历程。

研究孝敬

这篇论文主要有三个孝敬：

1. 击球周期状态机：该研究行使网球赛事的领域知识，以击球周期为粒度控制和合成视频，击球周期即在某一时刻，球员为准备、击球和回复所接纳的一系列动作。 

2. 特定于运发动的、基于数据驱动的行为模子：该模子可以展望球员的球场位置和击球选择，并在视频合成历程中作为控制输入。通过连系视觉质量指标和运发动特定的行为模子，该研究能够建立“真切的”视频，这些合成视频既可以细粒度地形貌球员的外观和动作气概，也能够在宏观层面上捕捉他们的现实竞赛计谋和倾向。

3. 基于多样化的现实数据渲染高质量视频：该研究提供了一种建立大型单视点真实视频片断数据集的方式，该数据集可用于建立可控制视频系统。该历程涉及：使用神经图像迁徙方式，消除差别竞赛日和竞赛时间运发动的外观差异；当运发动在画面中被部门裁剪时，补齐缺失的像素数据；使新视频渲染效果对计算机视觉手艺发生的标注错误具备稳健性（如运发动检测、姿势估量）。

系统架构

下图展示了该研究提出的点合成系统：

系统架构图

左：离线预处理阶段，准备一个带标注击球周期视频片断数据库，将其作为运发动行为模子的输入，选择相符行为目的的合成视频，并基于它举行渲染。右图：天生新点的伪代码。循环的每次迭代都对应两个运发动中的其中一个最先新的击球周期。系统组件框和代码行上的颜色具备对应关系。

用 AI 系统合成网球赛，你怎么看？

研究者以为该系统具备天生真切游戏视频的能力和交互式用户控制功效，可用于体育娱乐，从而获得新的体验，也可以在运发动可视化和教练方面获得现实应用。

但对于这项研究，网友看法泛起两极化趋势。一部门以为这项研究异常炫酷，但也有人示意担忧。

有网友赞叹于合成视频的效果：“几年内，难辨真假。”

“异常酷！效果不错。”

但也有部门网友表达了担忧，以为这种做法是纰谬的。

自 DeepFake 手艺泛起以来，人们对 AI 合成视频的伦理问题颇为关注。斯坦福这项建立网球赛事合成视频的手艺是否随同着伦理问题？若何面临和解决 AI 合成视频随同的一系列问题？在赞叹壮大效果的同时，这或许值得我们思索。

参考链接：

https://syncedreview.com/2020/08/13/love-love-stanford-researchers-generate-realistic-fake-wimbleton/

https://www.reddit.com/r/MachineLearning/comments/ia2aob/r_vid2player_controllable_video_sprites_that/

https://twitter.com/ak92501/status/1293350699024240641

本文来自微信民众号：机械之心（ID：almosthuman2014），编辑：陈萍、魔王