bob

bob体彩_bob体育_bobAPP下载

服务热线:0757-82828888 82810630

bob体彩_bob体育_bobAPP下载

服务热线:0757-82828888 82810630
公司地址:广东省佛山市禅城区文昌路(火车站斜对面)
联系电话:0757-82828888

邮 箱:hodavid@qq.com

当前位置:首页 > 新闻中心

行业新闻

bob:实现像素级无痕修复,这种AI算法能让物体在视频中消失 | 硬科技

时间:2021-09-13 10:24:37来源:bob浏览次数:980

图源:图虫创意

秋千荡到半空,抓紧绳子的孩子不见了;刚刚被球杆击起的高尔夫球,在半空中消失;漫步在戈壁的驴友,下一步仿佛走进了时间黑洞....

这些是依托于一种叫做光流引导的方法实现的效果。在图片PS非常普遍的当下,视频的像素级修复一直面临着诸多难题,其主要问题在于,1)保证时序上的连续型 2)在高分辨率下实现修复 3)降低视频对于计算的开销。

近日,弗吉尼亚理工学院和Facebook的科学家研发出一款最新的AI算法,该算法可以让视频里任意物体完全消失。不仅如此,该算法在视频去水印、物体移除、画面扩展等方面均有出色地表现。记载该算法的论文近日被计算机视觉三大国际顶级会议之一的ECCV收录。

论文显示,这种技术背后的原理叫做光流法(Optical Flow),算法借助光流 (Optical flow) 来寻找不同帧之间的关系,并通过在不同帧之间传播信息来补全。

光流(Optical Flow)描述的是观察者眼里物体的运动情况,观察者可以是肉眼,也可以是摄像头。视频里每个像素点,在帧与帧之间发生的位移,都会被记录。光流法据此来估计物体发生了怎样的运动,从而把它从背景里抠掉。

此外,AI还需要对扣掉的空白部分进行修补,通过视频前后帧中已有的光流,将空白的光流平滑推测出来,并且在光流指导下对空白处进行色彩修复。

与之前的技术相比,该算法通过在梯度域进行操作来生成无痕结果。以往的基于光流的方法往往无法保持运动边界的清晰度,使得修复后的画面不够平滑。论文的方法首先提取并完成运动边缘,然后使用它们引导具有锐利边缘的分段平滑流完成。

带有伪影的处理图像

另外,由于此前的方法是在相邻帧之间的局部光流连接中传播色彩,但并非所有视频中被水印、物体遮住的区域都可以通过这种方式恢复,就会造成伪影。

论文的方法通过引入非局部流连接来缓解这个问题,算法从光流当中提取出轮廓线,如果提取的边界不完整,就再把被遮挡部分平滑地修复出来,使得视频内容能够在运动边界上传播。

该文由四位研究人员合力完成,包括弗吉尼亚大学的Chen Gao和Jia-Bin Huang,以及Facebook的Ayush Saraf和Johannes Kopf。其中,Chen Gao是本篇论文的一作,该团队表示会在近期将这项技术开源。

光流法的精进是在底层视觉核心算法上的突破,依托该算法,从体感上视频修复已经可以做到无痕抹除水印、无恒补全画面残缺,在目标识别和影视后期中,具备巨大发挥空间。

bob

Copyright © 2015-2017 bob体彩_bob体育_bobAPP下载 版权所有
公司地址:广东省佛山市禅城区文昌路(火车站斜对面)
联系电话:0757-82828888

企业邮箱:hodavid@qq.com