对于那些还不熟悉照片重建工具的人来说，本文关于arXiv的标题可能完全令人费解：“使用部分卷积的不规则孔的图像修补”。然而，来自NVIDIA团队的这项研究为那些必须进行图像编辑并希望获得良好结果的人指出了令人兴奋的商店改进方法。
图像修复就是填充图像中的孔。它可用于拍摄不需要的图像内容，同时用合理的图像填充空间。回到他们论文的标题，该团队探索了他们对改进过程的看法，该过程可以在照片编辑软件中实现。
在NVIDIA开发者新闻中心概述了他们的研究。他们提出了一种方法，一种用于(1)编辑图像或(2)重建损坏的图像，一种具有孔或缺少像素的图像。当他们说“编辑”时，包括删除内容和填补漏洞。
该视频清晰地展示了这可以获得多么有趣，在白痴出现过程之前和之后呈现出一组照片。一个场景是户外的岩石，另一个是室内的图书馆。另一组展示了人类的面孔，包括一名女性，年轻男性和一位老人。
他们的工作到底是什么?
“由桂林刘先生领导的NVIDIA研究人员介绍了一种最先进的深度学习方法，可以编辑图像或重建损坏的图像，一个有洞或缺像的图像。该方法也可用于编辑图像通过删除内容并填充所产生的漏洞。“ 这是根据视频笔记。
在游戏中分为两个阶段，即训练阶段和测试阶段。
为了准备训练他们的神经网络，该团队首先制作了随机条纹和任意形状和大小的洞的面具，用于训练，新闻中心报道说。基于相对于输入图像的尺寸设计类别，以提高重建精度。神经网络训练涉及从ImageNet，Places2和CelebA-HQ数据集中生成的图像。
“在训练阶段，从上述数据集中将孔洞或缺失部分引入完整的训练图像，使网络能够学习重建丢失的像素。在测试阶段，不会在训练期间应用的不同洞或缺失部分是引入数据集中的测试图像，以执行重建精度的无偏验证。“
为什么他们的工作脱颖而出：“据我们所知，我们是第一个证明深度学习图像修复模型在不规则形状孔上的功效。”
研究人员了解现有的基于深度学习的图像修复方法。这些是使用“在损坏的图像上的标准卷积网络，使用以有效像素为中心的卷积滤波器响应以及掩蔽孔中的替代值(通常是平均值)。”他们说这“通常导致诸如颜色差异和模糊性。后处理通常用于减少此类伪影，但价格昂贵且可能失败。“
他们说他们提出了部分卷积 - “卷积被掩盖并重新规范化，只能以有效像素为条件。”
他们展示了与其他方法进行定性和定量比较以验证其方法，他们表示他们的模型“优于其他不规则面具的方法”。
论文的作者是刘桂林，Fitsum Reda，Kevin Shih，王廷春，陶喆和Bryan Catanzaro。