imgsys

imgsys.org 是由 Fal.ai 平台发起的一个开源项目，旨在复制和扩展 lmsys.org 的 Chatbot Arena 项目。它专注于评估开源的文生图模型，并通过收集和开源极其宝贵的偏好数据，推动图像生成领域的研究和开发。

项目背景与目标

1. 项目背景

• Chatbot Arena 是一个用于评估开源语言模型的平台，通过用户投票和偏好数据来衡量模型性能。
• artificialanalysis.ai 的 Image Arena 是一个类似的项目，专注于图像生成模型的评估，但包括了闭源模型。
• imgsys.org 是这两个项目的姊妹项目，专注于开源文本引导图像生成模型的评估。

2. 项目目标

• 提供一个公平、透明的平台，用于评估和比较开源图像生成模型。
• 收集用户偏好数据，以帮助研究人员和开发者改进模型性能。
• 通过开源数据，促进社区合作和研究进展。

平台功能与特点

1. 模型评估

• 实时对比：用户可以实时对比不同开源图像生成模型的输出。
• 偏好投票：用户可以对生成的图像进行偏好投票，帮助评估模型的表现。

2. 数据收集与开源

• 偏好数据：平台收集用户对不同模型生成图像的偏好数据。
• 开源许可：所有收集的数据（包括提示词和匿名用户 ID）将在 CC BY-SA 4.0 DEED 许可下发布，确保数据的透明性和可访问性。

3. ELO 分数计算

• 平台使用 ELO 分数系统来衡量模型的性能，类似于国际象棋中的等级分系统。
• 具体的 ELO 分数计算方法和公式可以在项目的 GitHub 仓库 中找到。