AI新海诚就是在下,不信来玩

鱼羊 发自 凹非寺

量子位 报道 | 公众号 QbitAI

@AnsonC@SEO@这样的东京街景,是不是有点日系纪实动漫那种feel了?

现在,不需要人类画师一帧帧描画,把你拍下的视频喂给AI,就能让现实世界分分钟掉进二次元世界。

@AnsonC@SEO@布景:

@AnsonA@SEO@美食:

甚至复仇者联盟,也能瞬间打破电影宇宙和漫画宇宙的界限。

这项研究名为 White-box-Cartoonization,来自字节跳动、东京大学和Style2Paints研究所。

论文已收录于CVPR 2020。

白盒卡通表示

如此AI「魔法」的关键,还是生成对抗网络(GAN)。

并且,研究人员提出了三个白盒表示方法,分别用来表示平滑表面、结构和纹理。

表面表示:表示动漫图像的光滑表面。

使用导向滤波器对图像进行处理,在保持图像边缘的同时平滑图像,去除图像的纹理和细节信息。

结构表示:获取全局结构信息和稀疏色块。

首先使用felzenszwalb算法将图像分割成不同的区域。

由于超像素算法只考虑像素的相似性而忽略语义信息,研究人员进一步引入选择性搜索来合并分割区域,提取稀疏分割图。

另外,标准的超像素算法会使全局对比度降低,导致图像变暗。

为此,研究人员提出了一种自适应着色算法,以增强图像对比度,减少朦胧效果。

然后,用预训练的VGG16网络提取生成器生成的图像和抽取的结构表示的高级特征,限制空间结构。

纹理表示:反映卡通图像中的高频纹理、轮廓和细节。

研究人员提出了一种从色彩图像中提取单通道纹理表示的随机颜色偏移算法,以保留高频纹理,减少色彩和亮度的影响。

整个GAN框架带有一个生成器G,以及两个判别器Ds和Dt。其中Ds旨在区分模型输出的表面表示和真正的动漫图像。Dt用于区分模型输出的纹理表示和真正的动漫图像。

具体而言,生成器网络是一个类似U-Net的全卷积网络。

研究人员使用 stride=2 的卷积层进行下采样,以双线性插值层作为上采样,以避免棋盘式伪影。

该网络只由3种层组成:卷积层、Leaky ReLU (LReLU)和双线性调整层。这使得该网络能轻松嵌入到手机等边缘设备中。

判别器网络则基于PatchGAN进行了调整,其最后一层为卷积层。

输出特征图中的每个像素对应输入图像中的一个图像块 (patch),用于判断图像块属于真正的动漫图像还是生成图像。

训练数据集方面,风景图像采集自新海诚、宫崎骏和细田守的动漫作品,人像图像则来自京都动画和PA Works。影片都被剪辑成帧并随机剪裁,大小为256×256。

(责任编辑:四海棋牌官网)

本文地址:http://www.rampmediasf.com/gupiao/2020/1017/2728.html

上一篇:美团首家AI智慧门店落地北京首钢 试运四海棋牌官网营期间95%订单全无人配送完成 下一篇:4412开发四海棋牌官网板图像识别项目-移植百度AI依赖库curl(二)