MagicArena

2年前更新 1,401 00

MagicArena是字节跳动推出的一个采用Elo积分机制的视觉生成大模型公开对战平台。平台上有多个视觉生成大模型(文生图、文生视频、图生视频)随机两两对战,用户对生成的结果进行评价,累积定对战数据后可以查看自己的大模型排行榜。

所在地:
中国
收录时间:
2025-02-14
MagicArenaMagicArena

MagicArena是字节跳动推出的一个采用Elo积分机制的视觉生成大模型公开对战平台。平台上有多个视觉生成大模型(文生图、文生视频、图生视频)随机两两对战,用户对生成的结果进行评价,累积定对战数据后可以查看自己的大模型排行榜。

说明

对战模式

两个模型对同一个题目分别生成图/视频,由用户判断生成结果的好坏。

对战的模型和题目由后台随机抽取,其中题目完全随机,模型在随机的基础上,倾向于让”水平相近的模型”和”新加入从而对局不足的模型”更多对战,以提高效率。

榜单排名规则

MagicArena 采用 Elo 得分处理用户评选的胜负对局,并为模型排名。

  • Elo得分是一种广泛应用于国际象棋、电竞等竞赛领域的积分系统,积分根据选手之间比赛的胜负计算。Elo得分的含义背后是任意两个选手之间的胜率期望。
  • MagicArena 对 Elo 得分的具体计算采用了最大似然估计的方法(Bradley-Terry Model),类似LMSys 在
    Chatbot Arena 上的计算方法。

相关导航

Frontier-Eng

Frontier-Eng

Frontier-Eng 是一个面向 generative optimization 的 benchmark:Agent 不是一次性写出“标准答案”,而是持续修改可运行的工程代码,读取只读 verifier 的反馈,并在固定预算内不断改进。当前版本包含 47 个任务,覆盖计算系统、量子信息、运筹优化、机器人控制、光学通信、物理与工程设计。主页和论文的核心观点是:真实工程问题通常从一个可行 baseline 出发,价值来自持续优化,而不是 pass/fail。