11月11日，字节在豆包大模型团队官网上公布最新通用图像编辑模型SeedEdit。SeedEdit支持一句话轻松改图，包括修图、换装、美化、转化风格、在指定区域添加删除元素等各类编辑操作，通过简单的自然语言即可驱动模型编辑任意图像。SeedEdit的核心在于在保持原始图像（即图像重建）和生成新图像（即图像再生）之间找到一个最佳的平衡点。
- 项目主页：https://team.doubao.com/en/special/seededit
- Demo：https://huggingface.co/spaces/ByteDance/SeedEdit-APP
目前，该模型已经在豆包PC端及即梦网页端开启测试。用户可以在豆包生成图片后，点击继续编辑按钮，输入简单的文本指令对图片背景或主体进行轻松调整，实现一句话改图。例如，用户在生成一张“小狗在草地奔跑”的图片后，可以直接输入“背景换成海边”等指令，获得一张基于原图片的微调图。此外，用户也可以尝试在豆包PC或即梦的图像生成功能中自行上传参考图并进行二次加工。
主要功能：
SeedEdit的主要功能包括：
- 文本引导的图像编辑：允许用户通过文本提示来修订输入图像。
- 平衡重建与再生：在保持原始图像特征的同时，根据文本提示生成新的图像内容。
- 顺序修订：能够对由扩散模型生成的图像进行连续的修订。
主要特点：
- 多样性和稳定性：与以往的图像编辑方法相比，SeedEdit能够实现更多样化和稳定的编辑效果。
- 顺序修订能力：可以对扩散模型生成的图像进行连续的文本引导修订。
- 优化平衡：通过迭代优化过程，使模型在图像重建和图像再生之间达到最佳平衡。
工作原理：
SeedEdit的工作流程主要包括以下几个步骤：
- 数据生成：使用预训练的文本到图像（T2I）模型生成编辑数据对。
- 模型架构：采用因果扩散模型，该模型可以接收图像和文本作为条件进行图像生成。
- 迭代对齐：通过多轮数据生成和微调，逐步将模型优化至在重建和再生之间达到最佳平衡。
评论0