扩散模型过拟合？！谷歌、DeepMind等发文：扩散模型直接从训练集里「抄」

「图像产生质量」和「隐私保护」，两者不能兼得。

去年，在一场大众艺术狂欢之后，图像生成模型火了，版权问题接踵而至。

类似DALL-E 2, Imagen和Stable Diffusion等深度学习模型的培训是在数亿数据上进行的，根本摆脱不了培训集的影响。但是有些图像完全来自培训集吗？如果生成的图像与原始图像非常相似，谁拥有版权？

最近来自谷歌，Deepmind、许多著名大学和企业的研究人员，如苏黎世联邦理工学院，联合发表了一篇论文，发现扩散模型确实可以记住训练集中的样本，并在生成过程中复制。

在这项工作中，研究人员展示了扩散模型如何在其训练数据中记忆单个图像，并在生成过程中重现。

本文提出了生成和过滤（generate-and-filter）pipeline从最先进的模型中提取了1000多个培训实例，包括人物照片、商标公司标志等，并在不同的环境中培训了数百个扩散模型，以分析不同的建模和数据来决定如何影响隐私。

一般来说，实验结果表明，扩散模型对训练集的隐私保护比以前的生成模型(如GANS)要差得多。

记住，但记得不多

去噪扩散模型（denoising diffusion model）它是一种新兴的生成神经网络。它通过迭代去噪过程从训练分布中生成图像，比以前常用的GAN或VAE模型生成效果更好，更容易扩展模型和控制图像生成，因此它很快成为各种高分辨率图像生成的主流方法。

特别是OpenAI发布DALL-E 2之后，整个AI生成领域的扩散模型迅速流行起来。

生成扩散模型的吸引力来自于其合成表面和训练集中的新图像的能力。事实上，过去的大规模培训工作「未发现拟合问题」，隐私敏感领域（privacy sensitive domain）研究人员甚至提出，扩散模型可以通过合成图像来实现「保护真实图像的隐私」。

然而，这些工作依赖于一个假设：扩散模型不会记住并再次生成培训数据，否则它将违反隐私保证，并导致许多模型泛化和数字伪造（digital forgery）的问题。

但是真的是这样吗？

要判断生成的图像是否来自训练集，首先要定义什么是「记忆」（memorization）。

之前的相关工作主要集中在文本语言模型上。如果模型能够从训练中逐字恢复逐字记录的序列，则该序列称为「提取」和「记忆」然而，由于这项工作是基于高分辨率图像的，因此不适合逐字逐句匹配的记忆定义。

以下是研究人员根据图像相似性定义的记忆。

如果一个生成的图像x与训练集中的多个样本之间的距离（distance）如果样本小于给定阈值，则样本被视为从训练中获得的，即Eideticc Memorization.

然后，本文设计了两个阶段的数据抽取攻击（data extraction attack）方法：

1. 产生大量的图像

虽然第一步很简单，但计算成本很高：使用选定的prompt作为输入，以黑盒的形式生成图像。

研究人员为每个文本提示生成500个候选图像，以增加发现记忆的机会。

2. Membership Inference

标记那些疑似是根据训练集记忆生成的图像。

基于以下思路，研究人员设计的成员推理攻击策略：对于两个不同的随机初始种子，扩散模型生成的两个图像可能非常相似，并可能被认为是根据距离测量的记忆生成的。

抽取结果

为了评估攻击效果，研究人员从训练数据中选择了35万个重复率最高的例子，并为每个提示生成500个候选图像（共生成1.75亿张图像）。

首先，通过在团中排序所有这些生成的图像（clique）图像之间的平均距离可以通过记忆训练数据来识别图像。

然后将这些生成的图像与训练图像进行比较，将每个图像标记为「extracted」和「not extracted」，最后发现了94张疑似从训练集中抽取的图像。

通过视觉分析，排名顶尖 手动标注1000张图片「memorized」或「not memorized」，还有13张图片是通过复制训练样本生成的。

从P-R曲线来看，这种攻击方法非常准确:在1.75亿张生成的图像中，可以识别出50张被记住的图像，而假阳性率为0；根据记忆生成的所有图像都可以提取，精度高于50%

为了更好地理解记忆是如何发生的，研究人员还在CIFAR10上培训了数百个小扩散模型，分析模型精度、超参数、增强和重复数据删除对隐私的影响。

Diffusion vs GAN

与扩散模型不同，GANS没有明确的训练来记忆和重建其训练数据集。

GANS由两个相互竞争的神经网络组成：一个生成器和一个判别器。生成器也接收随机噪声作为输入，但不同于扩散模型，它必须将噪声转换为有效图像才能进行前传输。

在训练GAN的过程中，判别器需要预测图像是否来自生成器，而生成器需要提高自己来欺骗判别器。

因此，两者之间的区别在于，GAN生成器只使用间接信息（即来自判别器的梯度）进行训练，而不直接接收训练数据作为输入。

从不同的预训练生成模型中提取的100万个无条件训练图像，然后按FID排序的GAN模型(越低越好)放在上面，扩散模型放在下面。

结果表明，扩散模型比GAN模型记忆更多，更好的生成模型(较低的FID)往往记住更多的数据，也就是说，扩散模型是最无私的图像模型形式，其泄露的训练数据是GANS的两倍多。

此外，从上述结果可以发现，现有的隐私增强技术不能提供可接受的隐私性能平衡。为了提高生成质量，您需要记住更多的培训集中数据。

总的来说，本文强调了生成模型与数据隐私之间日益强大的矛盾，并提出了如何工作和负责任地部署扩散模型的问题。

版权问题

从技术上讲，重建（reconstruction）是扩散模型的优势；但在版权方面，重建是软肋。

由于扩散模型生成的图像与训练数据过于相似，艺术家们就自己的版权问题发表了各种争论。

例如，禁止人工智能使用自己的作品进行训练，并在发布的作品中添加大量的水印等；而Stable Diffusion还宣布，它计划下一步只使用包含授权内容的培训数据集，并为艺术家提供退出机制。

NLP领域也面临着这个问题。有网友表示，自1993年以来，数百万字的文本已经发布，包括ChatGPT-3在内的所有人工智能都在发布「被偷的内容」在训练中使用基于人工智能的生成模型是不道德的。

虽然世界上有很多文章要抄袭，但抄袭只是普通人可有可无的捷径；对于创作者来说，抄袭的内容是他们的努力。