最新开源抠图技术，实时快速高分辨率，4k(30fps)、现代GPU（60fps）

最新开源抠图技术，实时快速高分辨率，4k(30fps)、现代GPU（60fps）

我爱计算机视觉

公众号『我爱计算机视觉』关注算法，更关注思想的价值

4 人赞同了该文章

#抠图#

Real-Time High-Resolution Background Matting

华盛顿大学学者提出一种实时的、高分辨率的背景替换技术，在4K分辨率下，该技术的运行速度为30fps，在现代GPU上，高清的运行速度为 60fps。技术是基于背景抠图，其中一帧额外的背景被捕获并用于恢复 alpha matte(前景蒙版)和前景层。

该技术主要的挑战是计算高质量的 alpha matte(前景蒙版)，保留 strand-level 头发细节，同时实时处理高分辨率图像。

为了实现这一目标，作者采用两个神经网络；一个基础网络计算一个低分辨率的结果，结果由第二个网络在高分辨率下对选定的补丁进行完善。还引入两个大规模的视频和图像抠图数据集：VideoMatte240K 和 PhotoMatte13K/85。

与先前最先进的抠图方法相比，该方法可以获得更高质量的结果，同时在速度和分辨率上都有显著提升。

作者称本项工作的目的是通过视频通话中的背景替换，实现创造性的应用，给用户提供更多的隐私选择。对于被用在不法之处，可以通过水印和其他安全技术来缓解。

authors | Shanchuan Lin, Andrey Ryabtsev, Soumyadip Sengupta, Brian Curless, Steve Seitz, Ira Kemelmacher-Shlizerman

units | 华盛顿大学

paper | Real-Time High-Resolution Background Matting

github | PeterL1n/BackgroundMattingV2

home | Real-Time High-Resolution Background Matting

Background Matting V2

我爱计算机视觉的视频

 · 7 播放

发布于 3 小时前

图像处理

抠图Matting

实时快速高分辨率