抠图专家要失业了？CV 技术加持下的 AR，实现隔空抠图复制粘贴

来源：雷锋网

传说中有一种电脑高手可以在一台电脑上按下 Ctrl+C，在另一台电脑上按下 Ctrl+V 就能进行跨设备粘贴复制。

虽然只是传说，但有无数的电脑极客为这个目标而努力。而现在利用机器学习 +AR 技术攻克了这个难题。

利用这个技术只用一部手机就能将书上的图片直接复制到电脑上，全程用不到 10 秒钟。

手写框架图自然也不在话下 ~

这个项目是一位自称艺术家的法国人创造，据在 reddit 提供的 github 地址，发现作者名为 Cyril Diagne，此外其还是一家 AI 公司的联合创始人。

项目地址：https://github.com/cyrildiagne/ar-cutpaste

虽然目前仅能用于 Photoshop，但作者相信未来可以处理更加不同类型的输出。从粘贴到复制，完成整个过程需要三个模块：移动 APP、本地服务器、背景移除。

其中，移动 APP 使用了 Expo 这个通用的 React 应用架构和平台搭建，本地服务器使用了 ScreenPoint 超早摄像头在屏幕上所指向的位置，背景移除使用的技术是基于被 Pattern Recognition 2020 收录的论文《U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection》。目前此论文尚找到下载版本，不过论文代码已经放出。

代码地址：

https://github.com/NathanUA/U-2-Net

部署步骤

根据作者 Github，整个部署可以分为四步：Photoshop 配置、设置外部显著对象检测服务器、配置和运行本地服务、配置和运行移动 APP。

Photoshop 配置：1. 进入 "Preferences>Plug-ins"，启用 " 远程连接 "，并设置稍后需要的密码。2. 确保 PS 文档设置与 server/src/ps.py 中的设置匹配，否则会粘贴空白。3. 确保文档有背景，如果背景空白 SIFT 可能无法进行正确的匹配。

设置外部显著对象检测服务器：1. 需要使用 BASNet-HTTP 作为外部 HTTP 服务部署 BASNet 模型；2. 将需要部署的服务 URL 来配置本地服务器。3. 如果在与本地服务相同的计算机上运行 Basnet，请务必配置不同的端口。

配置并运行本地服务器的时候，按照上面的代码和说明。

配置和运行 APP 则需要按照上面的设置。

另外，作者也提到直接在 APP 中使用像 DeepLap 此类的技术可能会简单的多，但是作者还没有尝试。

技术细节

该工具使用 U2-Net ( Qin et Al, Pattern Recognition 2020 ) 执行显著目标检测和背景移除。

然后，利用 OpenCV SIFT 找出手机在电脑屏幕上对准的位置。只需要一张手机照片和截图，就可以得到准确的 x, y 屏幕坐标系。

U^2-Net 架构

据论文作者介绍，U^2-Net 与当前 20 余种 SOTA 方法进行对比实验后，无论是在模型尺寸还是结构测度等指标都获得了比较不错的成绩。

（编辑：ASP站长网）