我用进化的策略算法创造了抽象的表现主义艺术。

生成图像 11/10/2021

三个要点
✔️ 我试图在电脑艺术中结合进化策略和CLIP模型。
✔️ 包括艺术创作的过程，能够以多样化和精确的方式表达抽象的概念。
✔️ 与基于梯度的方法相比，发现艺术风格在很大程度上取决于优化算法。

Modern Evolution Strategies for Creativity: Fitting Concrete Images and Abstract Concepts
written by Yingtao Tian, David Ha
(Submitted on 18 Sep 2021)
Comments: Published on arxiv.
Subjects: Neural and Evolutionary Computing (cs.NE); Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG)

code：

Project page

本文所使用的图片要么来自论文、介绍性幻灯片，要么是参考这些图片制作的。

简介

这篇文章是关于一篇利用进化策略（ES）和CILP的组合解决计算机艺术的论文（新年伊始！人工智能可能即将有另一个突破）。

20世纪初，艺术领域发生了一场现代革命。具有抽象观点的艺术迅速发展，放弃了描写物体的传统观点。其中，毕加索和其他著名艺术家提出了一种几何艺术表现形式。蒙德里安试图通过纯粹和简单的形状组合来表达世界，他的影响后来在抽象表现主义和极简主义艺术中得到了呼应，并对艺术界做出了重大贡献。

另一方面，极简主义艺术的理念也在计算机艺术领域得到了探索，算法复杂性的理念被用来尝试表现世界的复杂性。遗传算法就是这样一个例子，它的特点是能够捕捉到艺术家的创作过程，因为图像是反复演变的。

在这项研究中，我们使用了进化策略（ES）来创造简单的三角形艺术，我们已经表明，由OpenAI在2021年1月发布的CLIP可以用来根据人类语言指令创造各种各样的抽象表现主义艺术。我们还提供了源代码，方便计算机艺术艺术家使用。

作为一个例子，图1.显示了由所提出的方法创造的抽象艺术。特别是，4.'迪斯尼世界'和6.'东京的照片'拍得非常好。

创造性的现代进化策略

所提出的方法（图2.）的目的是利用进化策略（ES）来安排具有透明度的三角形。一个三角形可以用十个参数来表示：它的三个顶点的坐标（x1,y1,x2,y2,x3,y3），它的颜色（r,b,g）和透明度（a）。然后计算出一个拟合分数，以显示生成的图像与文本或目标图像的拟合程度。通过这种方式，ES算法从一些候选参数中选择参数，以达到高拟合分数。本研究中使用的ES算法是PGPE，它是基于ClipUp优化方法的。

如果用N个三角形来创造艺术，就有10N个参数，数字N是一个超参数，其他参数也会被更新。如果透明度（a）为0，就不会有更多的三角形，所以我们给算法以三角形数量的自由。

如图2所示，ES算法直接进入拟合分数的评估，所以你可以自由选择你认为好的拟合方式。在这项研究中，我们考虑了对具体图像或抽象概念的拟合。如果你想拟合一个具体的图像，你可以使用生成的图像和目标图像之间的像素L2损失作为拟合分数。如果我们想拟合一个抽象的概念，我们可以计算生成的图像和目标概念在潜在空间的拟合分数。在这项研究中，我们分别用CLIP模型的图像编码器和文本编码器将图像和文本投射到潜空间，然后用正弦相似度作为拟合分数。特别值得一提的是，ES算法执行的是黑箱优化，所以不需要渲染和拟合分数的计算是可分的。

适应具体的目标形象

这里我们将看到一个特定图像的拟合结果：图3.显示了著名的 "蒙娜丽莎 "被50个三角形和10,000个更新步骤所拟合。其结果是一种独特的艺术风格，即用三角形来创造精细的纹理和背景。在右图所示的进化过程中，你也可以看到对形状和颜色的微调。

三角形的数量和参数

所提出的方法中使用的PGPE算法是高效的，参数随着三角形的数量线性增加。从图4也可以看出，所提出的方法能够适应任何目标图像。

ES算法的选择

在这项研究中，我们将我们的ClipUp和PGPE与传统的进化算法进行了比较，图5.显示在相同的迭代次数和参数下，所提出的方法更好。图5.显示，在相同的迭代次数和参数下，建议的方法更好，而定量评估显示，即使比基线多迭代56次，建议的方法也没有超越。

与基于梯度的优化方法的比较

基于ES的拟议方法与基于梯度的nvdiffrast方法进行了比较，如图6所示。拟议方法和基于梯度的方法可以产生类似的图像，但拟议方法的拟合分数略高。值得注意的是，获得了不同的艺术风格。所提出的方法用大的三角形表示背景，用小的三角形表示细节，而基于梯度的方法往往会引入目标中没有的纹理。这可能是由于所提出的方法侧重于三角形的排列，而基于梯度的方法侧重于透明的颜色组成。

用CLIP拟合抽象概念

接下来我们将看一下用语言表达的抽象概念的拟合结果。这是一个比拟合具体图像更困难和有趣的问题，因为我们可以很自由地选择我们想画的东西，如上节所述。

为了适应一个抽象的概念，它花了2000个步骤来收敛，结果的一个例子显示在图7。我们不仅能够处理单字和短语，而且还能处理较长的句子。特别是，我们能够获得可以被人类解释的创造性艺术概念。我们对进化过程进行了微调，使前三张图片捕捉到了人类和迪斯尼乐园城堡的特征，而最后一张则是谷歌在硅谷的总部。特别是，谷歌的总部恰当地捕捉到了复杂的特征，如果你好奇，可以谷歌 "谷歌硅谷"，将两者进行比较。

三角形的数量和参数

图8.显示了拟合不同数量的三角形的结果，这些结果是抽象的，难以评估，但它们似乎都很合适。可以看出，当我们考虑到可用于艺术制作的预算时，三角形的数量平衡了应该用来表示特征的预算。然而，我们也可以看到，用200个三角形拟合 "东京的照片 "的结果并不成功。三角形的过度使用使其更加困难，这也是未来研究的一个课题。

多次运行

拟合一个抽象的概念有很大的自由度，所以不同的初始化和优化中的噪音会产生不同的艺术效果。图9.显示了四个实验的结果，每个实验有50个三角形和2000步。图9.显示了四个实验的结果，每个实验有50个三角形和2000个步骤，作者声称，结果的不同足以让人解释，因此具有计算机辅助艺术制作所需的特征。

与基于梯度的优化方法的比较

最后，与基于梯度的方法进行了比较：在使用CLIP的艺术制作方面已经做了很多好的工作，包括Clipdraw和StyleGAN。然而，渲染器和CLIP的梯度动态是非常不同的，这使得它不容易优化。有必要根据研究情况准备一份手稿。在本研究中，我们将使用与上一节相同的可微分渲染器，并将其与nvidiffrast进行比较，后者允许损失向后传播到参数的选择，如图2所示。

两种方法都能适合这个概念（图10.）：提议的带有ES的方法能更清楚地表达形状和物体的边界。有趣的是，所提出的方法所表达的艺术风格更接近于抽象表现主义。与后印象派和印象派的区别类似，所提出的方法与基于梯度的方法不同，它使用更大胆的颜色和形状。这些结果在很大程度上取决于优化算法，作者认为，算法的选择导致了艺术风格。

摘要

你怎么看？我们提出了一个由结合ES和CLIP作为计算机艺术算法的方法产生的极简主义艺术。实验表明，通过针对人类语言和图像解释，可以产生几何抽象。我们认为，艺术家可以通过算法的组合来创造独特的艺术，我们建议你试一试，因为发布了易于使用的源代码来支持这一点。最后，我们希望这篇文章有助于与你分享，人工智能在各种领域仍有很大的潜力，包括艺术。