杜克大学的计算机工程师设计了能够锐化抖动摄像机模糊视频的算法。最新集成到Adobe的After Effects视频编辑软件中,该解决方案为各地无三脚架的摄像师带来了解脱。
“当我来到杜克时,我想尝试找到一个与经典问题不同的解决方案,”前公爵博士后的毛里西奥·德尔拉西奥说,他曾与吉列莫·萨皮罗,Edmund T. Pratt,Jr。学校教授合作完成这个项目。杜克大学电气与计算机工程专业。“我最终落后于视频模糊,因为没有简单的算法可以解决这个非常重要的问题。”
Delbracio选择的部分原因是为解决模糊问题而创建的其他算法效果不佳。标准方法试图弄清楚导致图像质量下降的原因然后将其反转。
“我们在数学上表明,这个过程是浪费时间,因为它并没有真正帮助你解决实际问题,”Sapiro说。“感谢Mauricio的光彩和大量的讨论,我们找到了一种新的方式来看待这个问题。”
Sapiro和Delbracio首先利用引起模糊的颤抖找到了移除它的捷径。由于视频快速连续拍摄许多图像,因此二人决定尝试使用周围的帧来锐化有问题的图像。并且因为摇晃的手导致随机移动,每个帧的降级会有所不同。
研究人员编写了一种算法,对锐度的原始帧进行分析和评分。然后对附近帧的每个区域执行相同操作,并将它们与原始帧进行比较。通过选择最佳可用选项并将它们编译成一个图像,创建一个新的和改进的“弗兰肯斯坦框架”来替换模糊的原始图像。
“每张图片都有好东西和坏东西,所以我们只是试图合并所有好的部分,”Sapiro解释道。“我们发现,一旦你意识到所有的帧都有不同的降级,就可以很容易地用数学方法做到这一点。”
计算的简单性意味着可以在几秒钟内完成校正,使其成为任何视频编辑软件的完美补充。
“大多数算法需要几分钟才能锐化一个框架,”现任乌拉圭Universidad delaRepública助理教授的Delbracio说。“这对于视频软件来说是完全不可接受的。你需要不到一秒钟。”
作为该领域十多年来的知名人物,并且之前获得了许可,Sapiro在各种视频分析公司有多个联系人。在2016年6月发布他的实验室在IEEE计算成像交易方面的工作之后,他找到了Adobe,看看他们是否有兴趣将新方法集成到他们的视频编辑平台之一。
他们是。
Delbracio花了大约一个月的时间与Adobe的同事一起工作,以确保他的算法适用于他们的环境。为科学论文编写计算机代码是一回事; 以直观的方式将其集成到平台中,以便用户可以帮助塑造结果,这是另一回事。
然而,合作是成功的,并且该功能在2017年春季版的Adobe After Effects中发布。最显着的是,用户可以拍摄不稳定的镜头并使其稳定,同时避免模糊的线条。
“他们几乎已经知道如何摆脱不稳定的镜头,”德尔拉奇奥说。“但是稳定场地会在图像上引入模糊,因此重要的是要同时恢复可用的视频。”