北京大学、阿里巴巴集团、威斯康星大学麦迪逊分校和北京理工大学的研究人员推出新型端到端模型DnD-Transformer，这是一种用于高效细粒度图像生成的二维自回归Transformer。简单来说，这个模型能够生成高质量的图片，而且它在生成图片时，不仅考虑了图片的水平和垂直像素信息，还额外考虑了图片的深度信息，这就好比给图片增加了一个“层次”维度，让它生成的图片更精细、更真实。
- GitHub：https://github.com/chenllliang/DnD-Transformer
- 模型：https://huggingface.co/leonardPKU/DnD-Transformer
例如，你是一名设计师，需要为一款新游戏设计一个魔法卷轴的图标。使用DnD-Transformer，你只需提供一些基本的描述，比如“古老的羊皮纸上写着神秘的咒语”，模型就能生成一个带有清晰文本和复杂背景图案的卷轴图像，而且细节丰富，看起来就像真的一样。
主要功能
- 细粒度图像生成：生成的图像包含更多细节，如清晰的文字和复杂的图形元素。
- 无条件文本丰富图像生成：能够生成包含丰富文本和图形元素的图像，而不需要额外的条件输入。
主要特点
- 二维自回归：除了传统的序列长度方向，还引入了新的自回归深度维度。
- 端到端模型：模型可以直接训练，不需要增加额外的模块或序列长度。
- 高效率：在不增加模型大小或序列长度的情况下，生成更高质量的图像。
工作原理
- 双维度自回归：DnD-Transformer在原有的像素序列化基础上，增加了深度方向的预测，使得每个像素点都能通过更深层次的预测来生成，从而提高图像的细节质量。
- 多预测头：在模型的后端增加了多个预测头，这些预测头可以并行预测不同深度的代码，提高了预测的效率和精度。
- 残差量化：使用残差量化的方法来减少信息丢失，提高图像重建的质量。
具体应用场景
- 文本图像生成：可以生成包含清晰文本的图像，适用于需要生成说明书、海报等包含大量文字的图像的场景。
- 艺术创作：艺术家和设计师可以使用这种模型来生成具有复杂纹理和细节的图像作品。
- 虚拟现实和游戏：在虚拟现实或游戏中生成高质量的环境和物体图像。
总的来说，DnD-Transformer通过创新的二维自回归方法，提高了图像生成任务的质量和效率，为图像生成领域带来了新的可能。
评论0