【开源】CVPR2022|UBC&谷歌研究光场渲染的新视图合成，可准确再现场景！解决了反射、折射和半透明等问题！
TIP! Right-click and select "Save link as..." to download.
| VIDEOS | |||
| MP4 | N/A | 480P | Download |
| MP4 | N/A | 480P | Download |
| MP4 | N/A | 360P | Download |
| MP4 | N/A | 360P | Download |
| AUDIO | |||
| MP4 | N/A | mp4a.40.2 | Download |
| MP4 | N/A | mp4a.40.2 | Download |
| MP4 | N/A | mp4a.40.2 | Download |
| THUMBNAILS | |||
|
JPEG | Origin Image | Download |
https://www.youtube.com/watch?v=lvHaKXuo6QA&t=20s
用于新型视图合成的经典光场渲染可以准确地再现与视图相关的效果，例如反射、折射和半透明，但需要对场景进行稠密的视图采样。基于几何重建的方法只需要稀疏视图，但无法准确建模。我们引入了一个模型，该模型结合了这两个方向的优点并缓解了其局限性。通过对光场的四维表示进行操作，我们的模型能够准确地表示与视图相关的效果。通过在训练和推理期间强制几何约束，可以从稀疏视图集中隐式学习场景几何。具体来说，我们介绍了一种基于两级变换器的模型，该模型首先沿极线聚集特征，然后沿参考视图聚集特征，以生成目标光线的颜色。我们的模型在多个前向和360°数据集上优于最先进的模型，在具有严重视图依赖性变化的场景上具有更大的边缘。
项目主页：https://light-field-neural-rendering.github.io/
论文地址：https://arxiv.org/pdf/2112.09687.pdf
代码地址：https://github.com/google-research/google-research/tree/master/light_field_neural_rendering
用于新型视图合成的经典光场渲染可以准确地再现与视图相关的效果，例如反射、折射和半透明，但需要对场景进行稠密的视图采样。基于几何重建的方法只需要稀疏视图，但无法准确建模。我们引入了一个模型，该模型结合了这两个方向的优点并缓解了其局限性。通过对光场的四维表示进行操作，我们的模型能够准确地表示与视图相关的效果。通过在训练和推理期间强制几何约束，可以从稀疏视图集中隐式学习场景几何。具体来说，我们介绍了一种基于两级变换器的模型，该模型首先沿极线聚集特征，然后沿参考视图聚集特征，以生成目标光线的颜色。我们的模型在多个前向和360°数据集上优于最先进的模型，在具有严重视图依赖性变化的场景上具有更大的边缘。
项目主页：https://light-field-neural-rendering.github.io/
论文地址：https://arxiv.org/pdf/2112.09687.pdf
代码地址：https://github.com/google-research/google-research/tree/master/light_field_neural_rendering
Supported Sites
