漫画生成框架StoryDiffusion：根据提示词生成短篇漫画，多种风格可选

字节跳动推出的图像和视频生成框架StoryDiffusion，它能够生成一系列内容一致的图像和视频，这对于讲述一个故事或者展示一个连贯的场景来说非常重要。目前官方已经释出了适合漫画生成的Demo，也有开发者推出了Colab和replicate版，大家也可以通过Pinokio在本地运行StoryDiffusion。（参考：图像和视频生成框架StoryDiffusion：能够生成一系列内容一致的图像和视频）

官方Demo

• 地址：https://huggingface.co/spaces/YupengZhou/StoryDiffusion

以下是官方Demo步骤的解释：

1️⃣ 文本描述与参考图像：首先，你需要为角色提供一个文字描述。如果你打算添加参考图像（Ref-Image），但目前还不支持卡通类型的参考图像，确保在描述中包含你想要定制的类别词汇，在人物特征提示词中注意要添加触发词“img”，例如：“man img”、“woman img”或“girl img”。

2️⃣ 输入提示数组：接下来，你需要输入一个提示数组，数组中的每行对应生成的一张图像。

3️⃣ 选择风格模板：选择你偏好的风格模板，这将决定生成图像的视觉风格。

4️⃣ 提交定制：最后，点击“Generate”按钮开始定制生成过程。

这些步骤可能是用于一个在线角色图像生成工具或服务，允许用户通过文本描述和风格选择来定制角色的外观。

漫画格式提示词书写规则：

1️⃣ 排版风格和标题添加：默认情况下，输入的提示（prompt）会作为每张生成图像的标题。如果你想要更改标题，可以在每行的末尾添加一个井号（#），井号之后的部分将作为图像的标题添加。例如：

A beautiful sunset beach # Beach Sunset

2️⃣[NC] 符号：[NC] 符号用作一个标志，表示在生成的场景图像中不应出现任何角色。如果你想生成一个没有任何角色的场景，可以在行的开头添加"[NC]"。例如，为了生成一个没有角色的落叶场景，你可以这样写：

[NC] The leaves are falling.

3️⃣ 仅限文本描述：目前，生成无角色场景的功能只支持使用文本描述。

Colab版本

• 地址：https://github.com/camenduru/StoryDiffusion-jupyter

可惜的是目前只有Colab Pro版本的用户才可以使用

Replicate版

• 地址：https://replicate.com/camenduru/story-diffusion

此版本与官方Demo版使用方法一致，Replicate版还提供了API，开发者们可以进行引用。

Pinokio版

• 地址：https://pinokio.computer

Pinokio 是一款可让您轻松地安装、运行AI 应用程序和模型的本地软件，目前Pinokio的开发者已经StoryDiffusion移植到本地，使用Pinokio安装此应用就可以在本地运行该工具，体验与官方Demo一致的体验，当然前提是你的显卡要够给力。