腾讯混元团队Reddit AMA:不盲目堆参,Hy3/Hy4靠扎实优化可超越更大模型,仍计划训练更大规模版本

3小时前 小马良
3 0

11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨及其团队在Reddit开展了时长120分钟的AMA活动,面向全球开发者开放提问。

现场有开发者提出疑问:字节跳动、Kimi等团队都在冲刺3万亿乃至5万亿参数的超大模型,而混元目前停留在7000亿参数级别,团队如何看待参数量和模型能力的关系、后续有无相关规划。混元团队给出的核心观点是,Hy3、Hy4已经验证,打磨扎实的较小模型,性能可以超过更大的模型,同时拥有更低运行成本,在研发过程中也能沉淀更多经验。

团队同时补充,Hy4还有不小提升空间,现阶段重点投入大规模强化学习,持续优化用户体验与模型安全,并且未来也计划训练更大规模的模型。

针对几款中小稠密模型的路线问题,团队也给出明确答复:240亿至310亿参数稠密模型存在推出可能性;对标Qwen 27B稠密规格的模型,同样有可能推出;但100B以下、专门面向编程场景的专用模型,大概率不会做。