只需使用真实照片，我们可以在多大程度上实现虚构场景?更准确地说，我们可以通过深度学习来渲染视频游戏吗?这些问题是Qifeng Chen和Vladlen Koltun研究工作的重点。
他们的工作本月引起了新科学家和其他网站的兴趣，探索了他们的方法。“这是创造梦幻世界的数字，” Engadget说。
事实上，一个视频的笔记说这是一个用数字绘制的方法来创建一个新的图像，它以标记的布局开始。例如，章节被标记为树木或汽车。该中心可能被标记为道路。
卢克Dormehl在数字化趋势描述他们的工作具有“ 人工智能，它可以创建假的街道照片般逼真的谷歌街景风格的图像场景。”
关键操作是人工智能。“ 新科学家”的马特雷诺兹表示，来自斯坦福大学和英特尔的陈奇峰的人工智能“从粗略的布局开始，告诉它在图像的每个部分应该是什么。” AI使用此布局作为生成全新图像的指南。
雷诺兹说，人工智能接受了3000张德国街道图像的培训。
数字趋势讨论了他们使用“级联细化网络，一种旨在合成具有一致结构的高清图像的神经网络。像常规神经网络一样，级联细化网络具有多个层，它用于生成一层特征一时间。“
Engadget高级编辑Roberto Baldwin表示，在一些人的帮助下，它可以构建略显模糊的制作场景。“为了创造一个图像，人类需要告诉人工智能系统到底在哪里。把汽车放在这里，把建筑物放在那里，在那里放一棵树。它是按数字绘制的，系统根据输入生成一个完全独特的场景。 “
从根本上说，雷诺兹说，你正在变成一条虚构的街道，“它是由一个富有想象力的神经网络产生的，将它所训练的真实街道的记忆拼接在一起。”
“陈的人工智能还不足以创造逼真的场景，”鲍德温说。然而，它可以用于创建视频游戏和VR世界“在不久的将来，并非一切都需要看起来完美。”
它的创造者认为它最终可以用于创建逼真的视频游戏世界。
下一步是什么?研究人员详细介绍了他们在arXiv上的Chen和Koltun的“使用级联细化网络的摄影图像合成”中所做的工作。
他们将他们的方法描述为合成基于语义布局的摄影图像。使用“输入布局”，他们实现了渲染引擎。结果是相应的摄影图像。
作者指出了他们工作的特殊之处。“我们表明，摄影图像可以通过具有适当结构的单一前馈网络从语义布局中合成，并通过直接回归目标进行端到端训练。”
他们在他们的论文中指出“为实现完美的照片写实而仍有令人兴奋的工作。如果我们认为可以实现这种现实主义水平，那么计算机图形学中图像合成的替代路径将会开放。”