
Frontier-Eng
Frontier-Eng 是一个面向 generative optimization 的 benchmark:Agent 不是一次性写出“标准答案”,而是持续修改可运行的工程代码,读取只读 verifier 的反馈,并在固定预算内不断改进。当前版本包含 47 个任务,覆盖计算系统、量子信息、运筹优化、机器人控制、光学通信、物理与工程设计。主页和论文的核心观点是:真实工程问题通常从一个可行 baseline 出发,价值来自持续优化,而不是 pass/fail。
MagicArena是字节跳动推出的一个采用Elo积分机制的视觉生成大模型公开对战平台。平台上有多个视觉生成大模型(文生图、文生视频、图生视频)随机两两对战,用户对生成的结果进行评价,累积定对战数据后可以查看自己的大模型排行榜。
两个模型对同一个题目分别生成图/视频,由用户判断生成结果的好坏。
对战的模型和题目由后台随机抽取,其中题目完全随机,模型在随机的基础上,倾向于让”水平相近的模型”和”新加入从而对局不足的模型”更多对战,以提高效率。
MagicArena 采用 Elo 得分处理用户评选的胜负对局,并为模型排名。








