AI赋能游戏工业化，网易互娱AI Lab动捕去噪新方法

当游戏行业仍在聚焦探讨如何让AI真正落地、协助游戏的工业化制作时，网易互娱AI Lab已基于游戏研发制作中的痛点交出了一份令人惊艳的答卷。

在游戏中，各个角色存在大量动作动画资源制作的需求，而让游戏角色获得如同真人一般流畅自然的动作历来是制作者们孜孜不倦追求的目标。近年来，伴随着游戏工业化的趋势，光学动捕凭借其真实性和效率替代了传统的关键帧制作方式，成为许多大制作端游和手游的首选方案。，光学动捕最大的弊端之一便是动捕数据清理所带来的巨大工作量，该过程需要依赖人工完成，在整个流程中成本占比也最高。尽管此前已有学者提出了基于深度人工神经网络的光学动捕数据自动清洗和解算方案，但该方法的性能还无法满足实际生产环境的要求，且针对动作细节的保真度也存在一定问题。

针对这一实际生产环境中的痛点，网易互娱AI Lab提出了一种针对光学动捕数据的自动清洗和解算方法，可以直接从包含错误和噪音的raw markers中预测出与之对应的clean markers和骨骼动画数据。算法精度和鲁棒性都超越育碧研究院（Ubisoft La Fe）发表在SIGGRAPH 2018的方法，技术创新性处于国际领先水平。利用该方法，传统光学动捕流程中所需的人工工作量可以被大幅降低。近日，网易互娱AI Lab与清华大学合作对该方案进行了系统性技术梳理，并撰写论文《MoCap-SolverA Neural Solver for Optical Motion Capture Data》，该文章已被SIGGRAPH 2021收录。

论文地址https://dl.acm./doi/abs/10.1145/3450626.3459681

项目地址https://ease-gameai.github.io/MoCapSolver

技术背景

运动捕捉（Motion Capture），简称动捕（MoCap），指的是将真实演员的肢体动作转换为三维虚拟角色骨骼动画的技术。相比于传统的关键帧动画制作方式，运动捕捉技术有着巨大的优势，既提升了三维动作资源的真实度，又提升了其生产效率，也成为了当前影视、游戏行业三维人形动画的标准制作方式。

从技术原理上划分，运动捕捉设备可以分成两种类型，惯性动捕设备和光学动捕设备。其中惯性动捕设备利用固定在演员关节上的加速度传感器来获取演员各个关节的相对运动量；而光学动捕设备则通过大量不同视角的高速相机同步拍摄演员动作，并利用多视角三维重建技术计算贴在演员身上的一批特殊标记点（marker）的三维坐标，之后再基于这些坐标解算出演员每个关节点的位置和旋转信息。惯性动捕设备成本较低，由于受到惯性传感器的精度限制，其动作捕捉的精度也明显低于光学动捕设备。，由于惯性动捕设备记录的是每个关节相对于上一时刻的相对值，无法获取演员在三维空间中的绝对坐标，这一特性导致惯性动捕设备无法应用于多人动捕的场景，因为其无法定位不同演员之间的相对位置关系。由于以上原因，虽然光学动捕设备成本高昂，但却在运动捕捉领域占据绝对统治地位。

利用光学动捕设备进行动捕的流程分为推火网以下几个步骤

1.演员装扮演员穿着紧身动捕服装，并在衣服表面需要捕捉的关节附近粘贴一定数量的marker点（标记点），marker点总数以及每个marker点粘贴的位置构成一套marker configuration；

2.演员标定构建一个与演员体型相适配的人形模版模型，并获取粘贴在真实演员衣服上的每个marker在该人形模版模型上的位置，模版模型的骨架结构叫template skeleton。构建方式一般为捕捉一小段该演员的简单动作，然后用算法自动去拟合模版模型和marker位置，这个过程也叫range of motion（ROM）标定。也可以在motion builder等软件中人工进行这种标定。

3.动作捕捉演员在被一圈高速红外相机围绕的动捕场景内按照剧本表演出规定的动作，所有相机同步进行拍摄，然后动捕软件利用多视角几何和目标跟踪算法，计算出每一个时刻演员身上每个marker点在三维空间中的坐标；

4.动捕数据清洗由于遮挡、传感器测量误差、重建和跟踪算法本身的误差等原因，上一步动捕软件输出的marker坐标中往往存在很多错误，需要人工对这些错误进行修复，这个步骤也叫动捕数据清洗。清洗过程需要耗费大量人力，该步骤也是传统光学动捕流程中成本最高的部分。

5.动捕解算利用动捕解算软件、基于步骤2中的演员标定信息，从捕捉到的marker序列中恢复人体各个骨骼关节的位置和旋转信息，从而得到三维骨骼动画数据（也叫skeletal motion或简称motion）。下图对比了从不经过人工清洗的marker数据（左，也叫raw markers）和经过人工清洗的marker数据（右，也叫clean markers）中解算得到的骨骼动画的差别。

6.动作重定向将解算得到的骨骼动画数据重定向到不同体型的三维虚拟角色上，变成对应角色的动画资源。

目前业界对光学动捕数据的清洗和解算主要依赖vicon blade、vicon shogun、autodesk motionbuilder等商业软件提供内置工具，处理流程与前文技术背景中描述一致，其特点为高度依赖人工对动捕marker数据中的错误进行修正，否则解算出的骨骼动画数据会存在明显的缺陷。典型的处理流程为，先对raw markers进行自动解算得到存在缺陷的骨骼动画，人工对得到对动画进行逐帧预览，寻找存在问题的区间，然后人工纠正该区间内导致解算结果异常的marker点。不断重复这一过程，直到整个动捕动作序列都能被正确解算。

为了解决这一实际生产环境中的痛点，育碧研究院（ubisoft la fe）的研究员Daniel Holden在2018年提出了一种基于深度人工神经网络的光学动捕数据自动清洗和解算方案，并发表在图形学顶级期刊TOG上（在SIGGRAPH 2018展示）。，育碧的方案虽然可以自动清洗和解算，该方法的性能还无法满足实际生产环境的要求。一方面，该方法的鲁棒性不足。该方法高度依赖粘贴在演员躯干上（环绕胸部和腹部的两圈）的少量关键marker（也叫参考marker）的质量。一旦输入的raw markers中包含参考marker的错误，该方法的解算结果就会出现明显错误。而在实际动捕环境下，这些参考marker很容易因为被四肢遮挡而导致捕捉错误。另一方面，该方法对动作细节的保真度也存在一定问题。本质上来说，该方法基于逐帧处理的算法框架，没有考虑相邻动作帧之间在时间和空间上的连续性，导致其输出的动画存在明显的抖动。为了解决这个问题，该方法引入了一个后处理操作对输出的动画进行平滑、从而抑制抖动。，这个平滑操作在消除抖动的也会抹去动作本身的运动细节，降低保真度。

技术思路