以1000fps超高速捕获面部数据，实时高质量4K渲染|SIGGRAPH ASIA 2022

在本文中，我们提出了一种新的基于学习、视频驱动的方法，用于使用高质量的基于物理的资产生成动态面部几何图形。两个关键组成部分是结构良好的潜在空间，这是由于视频中稠密的时间采样和明确的面部表情控制来调节潜在空间。对于数据采集，我们构建了一个混合多视图光度捕捉阶段，与超高速摄像机耦合，以获得原始3D面部资产。然后，我们开始使用单独的VAE对面部表情、几何体和基于物理的纹理进行建模，其中我们在各个网络的潜在空间中使用基于全局多层感知器（MLP）的表达式映射，以保持各个属性的特征，同时保持对面部几何体和纹理生成的显式控制。我们还引入了将delta信息建模为纹理VAE中基于物理的纹理的褶皱贴图的想法，实现了动态纹理的高质量4K渲染。我们展示了我们在高保真表演者特定面部捕捉和跨身份面部运动转移和重定目标方面的方法。此外，我们的基于多VAE的神经资产，以及快速适应方案，也可以用于处理野生视频。
项目主页：https://sites.google.com/view/npfa/
论文地址：https://arxiv.org/abs/2202.05592