ArtLine

该项目的主要目的是创造令人惊叹的线条艺术肖像。

例子

Photo by Maxim from Pexels

Photo by Maxim from Pexels

线条艺术

该模型产生的惊人结果有其秘诀。

最初的模型无法创建我期望的那种输出，它主要是在识别面部特征方面遇到了困难。

尽管（https://github.com/yiranran/APDrawingGAN）产生了很好的结果，但它也有局限性，比如（正面照片类似于身份证照片，最好是五官清晰，没有眼镜，没有长刘海。）我想打破- 并产生可以识别任何姿势的结果。

在脸部、眼睛、嘴唇和鼻子周围获得适当的线条取决于您提供给模型的数据。

仅 APDrawing 数据集是不够的，所以我必须结合从动漫素描着色对数据集中选择的照片。

组合数据集帮助模型更好地学习线条。

技术细节

自我注意 (https://arxiv.org/abs/1805.08318)。

Generator 是经过预训练的 UNET，具有频谱归一化和自注意力机制。我从 Jason Antic 的 DeOldify(https://github.com/jantic/DeOldify) 那里得到的东西，这产生了巨大的不同，突然间我开始获得有关面部特征的正确细节。

渐进式调整大小 (https://arxiv.org/abs/1710.10196), (https://arxiv.org/pdf/1707.02921.pdf)。渐进式调整大小采用了逐渐增加图像大小的想法，在该项目中，图像大小逐渐增加并调整了学习率。感谢 fast.ai 向我介绍了渐进式调整大小，这有助于模型更好地泛化，因为它可以看到更多不同的图像。

Generator Loss：基于 VGG16 的感知损失/特征损失。 （https://arxiv.org/pdf/1603.08155.pdf）。

惊喜！！没有评论家，没有 GAN。 GAN 没有产生太大的不同，所以我对 No GAN 感到满意。

任务是创造一些可以将任何个人照片转换为线条艺术的东西。最初的努力有助于识别线条，但模型仍然需要在阴影和衣服方面进行很多改进。我所有的努力都是为了改进模型并使线条艺术点击即可。

数据集

APD绘图数据集

动漫素描着色对数据集

APDrawing 数据集主要由特写肖像组成，因此模型很难识别衣服、手等。为此，使用了从动漫素描着色对中选择的图像。

往前走

我希望我很清楚，未来希望进一步改进模型，因为它仍然在随机背景下挣扎（我正在创建一个自定义数据集来解决这个问题）。

卡通化图像从来都不是项目的一部分，但不知何故它出现了，而且效果很好！！ 还有很多需要改进。 当卡通化模型看起来足够炫耀时，我会发布它。

在可预见的未来，我将不断升级该项目。

Getting Started Yourself

最简单的入门方法是简单地试用 Colab：

https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb

安装详情

这个项目是围绕美妙的 Fast.AI 库构建的。

fastai==1.0.61（及其依赖项）。 请不要安装更高版本

PyTorch 1.6.0 请不要安装更高版本

限制

获得出色的输出取决于照明、背景、阴影和照片质量。

您通常会在第一次尝试中获得良好的结果，但也有可能出现问题。 该模型尚不存在，仍需要对其进行调整以覆盖所有消费者。 它可能对“可以对最终输出进行更改的 AI 艺术家/艺术家有用”。

该模型将阴影与头发混淆，这是我试图解决的问题。

它对低质量图像（低于 500 像素）效果不佳。

我不是编码员，请容忍我糟糕的代码和文档。 将确保我在即将到来的更新中有所改进。

参考资料

https://github.com/vijishmadhavan/ArtLine