Pix2Pix是一款目前非常受用户欢迎的图像生成软件,Pix2Pix拥有着色,分割,线图画到图像,映射到卫星视图,风格化等等功能,能自动为您的手稿填充色彩,从而让整个作品一下子就可以变成好看的彩色图,使用起来非常方便。
Pix2Pix采用了只能AI技术,主要功能是可以帮助用户简单而直观的方式来编辑的照片,你只需在软件内简单画一个手绘稿,然后点击一下中间的红色按钮,就可以快速填充色彩,不管你画成什么样都能帮你快速转化。
Pix2Pix使用方法
最近,我将Isola等人做的pix2pix移植到了Tensorflow 平台。Tensorflow 平台包含在Tensorflow的图像到图像翻译(Image-to-ImageTranslation in Tensorflow)论文中。我采用了一些预训练的模型,并制作了一个网络互动的程序可以直接尝试玩玩。建议使用 chrome 浏览器来查看效果。
pix2pix模型通过对图像对进行训练来工作,例如给建筑物的立面添加建筑物立面的标签,然后尝试从任何输入图像生成相应的输出图像。这个想法是直接从pix2pix 论文( pix2pix paper)而来,这是一篇好文章。
立面(facades)
在建筑立面数据库上训练有标签的建筑立面。它似乎不知道如何处理一个大的空白区域,但如果放上足够的窗口,那么结果往往合理。绘制“墙”颜色矩形来擦除东西。
我没有建筑立面给定不同部分的名字,所以我只是猜测它们叫什么。
边缘转换成猫咪(edges2cats)
在约2k 存储猫照片和从那些照片自动生成的边缘之上训练。生成了彩色猫对象和一些带有噩梦的脸。我所见过的最好的一个是猫猫。
一些图片看起来特别蠕动,因为对动物辨识产生误判,特别是在眼睛周围。自动检测的边缘在很多情况下不是很好,没有检测到猫的眼睛,使得训练图像翻译模型效果更差。
边缘转换成鞋(edges2shoes)
在从Zappos收集的?50k鞋子图片以及从那些图片自动生成的边缘的数据库上训练之后。如果你真的擅长绘制鞋子的边缘,可以尝试产生一些新的设计。请记住,因为是在真实的对象上进行训练,所以如果你可以绘制更多的3D物体,所以似乎工作得更好。
边缘转换成手袋(edges2handbags)
和前面类似,在从亚马逊收集的?137k手袋图片及从那些照片自动生成边缘数据库上训练。如果你在这里画一个鞋而不是手提包,你会得到一只非常奇怪的纹理鞋。