悬挂在伊莎贝拉斯图尔特加德纳博物馆内的空框架是对世界上最大的未解决的艺术抢劫事件的具体提醒。虽然我们可能永远不会发现那些原创杰作，但麻省理工学院计算机科学与人工智能实验室(CSAIL)的团队可能会提供一个旨在设计绘画复制品的新系统。
“RePaint”使用3D打印和深度学习相结合的方式来真实地再现您喜欢的绘画 - 无论不同的照明条件或位置。RePaint可用于为您的家重建艺术品，保护原件免受博物馆的磨损，甚至帮助公司创建历史作品的印刷品和明信片。
“如果你只是在画廊中看到一幅画的颜色，那么你家中的画面可能会有所不同，”作为该系统新论文的作者之一的Changil Kim说道，该系统将在亚洲ACM SIGGRAPH展出。在十二月。“我们的系统可以在任何照明条件下工作，这显示出比以往任何其他工作都要大得多的色彩再现能力。”
为了测试RePaint，该团队再现了他们的艺术家合作者创作的一些油画。该团队发现RePaint在为不同艺术品创建精确色调时，比最先进的物理模型精确度高出四倍以上。
此时，由于印刷的时间成本高，复制品仅与名片大小相当。在未来，该团队预计更先进的商业3D打印机可以帮助更有效地制作更大的画作。
它的工作原理虽然2-D打印机最常用于复制绘画，但如果你的艺术作品中有蓝天或紫色的裙子，你可能会失去运气。这是因为2-D打印机只有四种墨水(青色，品红色，黄色和黑色)。
然而，研究人员发现了一种更好的方法来捕捉更全面的德加和达利。他们使用了他们开发的一种称为“颜色调节”的特殊技术，它涉及使用3-D打印机和10种不同的透明油墨，这些油墨堆叠在非常薄的层中，就像Kit-Kat棒中的晶圆和巧克力一样。他们将他们的方法与几十年前称为“半色调”的技术相结合，其中图像是由大量的小墨点而不是连续的色调创建的。该团队表示，结合这些，更好地捕捉了颜色的细微差别。
有了更大的色彩范围，可以使用哪种油墨用于哪些油画仍然存在的问题。该团队没有使用更费力的物理方法，而是培训了一种深度学习模型来预测不同油墨的最佳堆叠。一旦系统有了处理，他们就会输入绘画图像，并使用该模型确定在特定绘画的特定区域应使用哪些颜色。
尽管到目前为止取得了进展，但该团队表示，在他们能够制造出令人眼花缭乱的“星夜之夜”之前，他们还有一些改进。根据机械工程师Mike Foshey的说法，由于油墨库有限，他们无法完全复制某些颜色，如钴蓝。
将来他们计划扩展这个库，并创建一个用于选择油墨的绘画特定算法。他们还希望能够获得更好的细节来解释表面纹理和反射等方面，以便它们可以实现特定的效果，如光泽和哑光饰面。
“近年来，美术的价值迅速增加，因此越来越倾向于将其锁在远离公众视线的仓库中，”Foshey说。“我们正在构建技术以扭转这一趋势，并创造出所有人都能享受的廉价而准确的复制品。”
Kim和Foshey与主要作者梁实，麻省理工学院教授Wojciech Matusik，前麻省理工学院博士后Vahid Babaei，现任马克斯普朗克信息学研究所组长，普林斯顿大学计算机科学教授Szymon Rusinkiewicz和前麻省理工学院博士后Pitchaya Sitthi-Amorn一起研究该系统。 ，现在是泰国曼谷朱拉隆功大学的讲师。