韩国科学技术研究院推出专门针对文生图模型的新型数据投毒攻击方法Silent Branding Attack

韩国科学技术研究院和DeepAuto.ai的研究人员推出一种新型数据投毒攻击方法Silent Branding Attack ，专门针对文生图模型。该方法能够在文生图模型中隐秘地嵌入特定品牌标志或符号，而无需任何文本触发器。这种攻击利用了模型对训练数据中重复视觉模式的学习倾向，通过在训练数据中注入带有品牌标志的图像，使模型在生成图像时自然地包含这些标志。

• 项目主页：https://silent-branding.github.io

例如，假设一家公司希望推广其新品牌标志。攻击者可以利用这种数据投毒方法，将该品牌标志隐秘地插入到一个高质量图像数据集中。当用户下载并使用这个被污染的数据集来训练文生图模型时，生成的图像中会自然地包含该品牌标志，即使用户在生成图像时没有明确提及该标志。这种隐秘的品牌推广方式可能会在用户不知情的情况下影响其对品牌的认知。

主要功能

1. 隐秘的品牌标志嵌入：能够在生成的图像中自然地嵌入品牌标志，而无需在生成提示中明确提及该标志。
2. 高质量图像生成：在嵌入品牌标志的同时，保持图像的高质量和文本对齐，避免对生成图像的整体质量产生负面影响。
3. 无触发器操作：与传统的后门攻击不同，该方法不需要任何特定的文本触发器来激活品牌标志的生成。
4. 可扩展性：可以应用于大规模高质量图像数据集和风格个性化数据集，适用于多种实际场景。

主要特点

1. 隐秘性：品牌标志被自然地嵌入到图像中，难以被人类或自动化系统检测到。
2. 自适应性：能够根据不同的图像风格和内容，自动调整标志的插入位置和风格，以实现最佳的嵌入效果。
3. 自动化：提供了一种完全自动化的数据投毒算法，包括标志个性化、掩码生成和图像修复等步骤。
4. 灵活性：支持自定义品牌标志，即使预训练模型中未包含这些标志，也能通过数据投毒实现嵌入。

工作原理

1. 标志个性化：通过DreamBooth等技术对预训练的文本到图像模型进行微调，使其能够生成目标品牌标志。
2. 掩码生成：利用SDEdit等技术，通过迭代编辑和标志检测，找到图像中适合插入品牌标志的自然位置，并生成相应的掩码。
3. 图像修复与细化：使用图像修复技术（如blended latent diffusion）和风格适配器，将品牌标志无缝地嵌入到原始图像中，并通过细化步骤提高标志的保真度。
4. 数据投毒：将经过上述处理的图像作为训练数据，训练文本到图像模型。经过这种被污染的数据集训练的模型，在生成图像时会自然地包含品牌标志。

应用场景

1. 品牌推广：公司可以利用这种技术在图像生成模型中隐秘地推广其品牌标志，从而在用户生成的图像中自然地展示品牌，增强品牌曝光度。
2. 内容生成安全：该研究揭示了文本到图像生成模型在数据投毒攻击下的脆弱性，提醒开发者和用户注意数据来源的安全性，防止生成的内容被恶意操纵。
3. 版权保护：虽然这种技术可能被用于恶意目的，但也可以作为一种水印工具，隐秘地嵌入水印以保护用户生成内容的版权。
4. 艺术风格定制：在艺术风格定制场景中，可以通过数据投毒技术将特定的艺术元素嵌入到生成的图像中，实现个性化的艺术风格生成。