在影视剧或电影中，拍摄者经常会使用绿幕把演员或物体从普通场景画面中分离出来，合成到剧情需要的炫酷奇幻的场景中去，如果不使用绿幕可以随意调换场景吗？
近日，来自华盛顿大学的研究者Soumyadip Sengupta等人发表了一篇《Background Matting: The World is Your Green Screen》的论文，文中提出了一种创建蒙版（matting）的新方法。目前，该论文已被 CVPR 2020 接收。
使用绿幕转换场景
用Soumyadip Sengupta方法的场景转换
除了原始图像/视频之外，研究者还要求拍摄者多拍一张不带人物的背景图。这一过程要比创建三元图所需的时间少得多。
他们用对抗损失训练了一个深度网络，用来预测蒙版。他们首先利用带有ground truth 的合成数据训练了一个具有监督损失的蒙版网络。
为了在没有标签的情况下缩小合成图像与真实图像之间的差距，他们训练了另一个蒙版网络，该网络是在一个网络的指导下进行训练的，并通过一个判别器来判断合成图像的质量。
他们在各种照片和视频上对这一新方法进行了测试，结果证明这一方法显著优于之前的SOTA。
用手机摄像头拍摄一张带人物的图，再多拍一张不带人物的背景图。采用具有对抗性损失的深层网络来恢复前景蒙版（alpha matte）和前景色（foreground color），把结果合成到一个新的背景上。
论文
链接：https://arxiv.org/abs/2004.00626
代码
链接：https://github.com/senguptaumd/Background-Matting
视频
在室内和室外不同环境下，他们使用固定和手持摄像机捕获了50个不同动作主体的视频，当拍摄主体离开拍摄场景，他们也会拍摄不带主体的背景图。他们将很快发布此数据，以进行背景蒙版（Background Matting）的研究。
与现有方法相较
研究者将该方法与其他方法进行了比较，包括以下几种在基准上表现良好的深度蒙版算法：
（1）基于三元图（Trimap）：Context Aware Matting（CAM）和Index Matting（IM）进行比较，其中Trimap是通过分割自动创建的。
（2）自动蒙版算法Late Fusion Matting（LFM）进行比较。
研究者首先在Adobe Matting 数据集（只用不透明物体的图像）上训练了一个深度蒙版网络，然后在自监督和对抗损失的无标记真实数据上进行训练（Ours Real）。研究显示，在真实数据上训练可以提高蒙版质量。
閱讀更多 圖靈聯邦 的文章
