字节跳动推出统一优化数据质量与多样性的LLM预训练框架QuaDMix大语言模型(LLM)的性能和泛化能力在很大程度上依赖于其预训练数据的质量和多样性。然而,传统的数据整理方法往往将质量和多样性视为独立的目标,先进行质量过滤,再平衡领域分布。这种顺序优化忽略了两者之间的...新技术# QuaDMix# 字节跳动7个月前03410