模型训练

Hugging Face旗下的Nanotron团队近期推出了一本免费、开源的综合性书籍——《Ultrascale-Playbook》。这本书旨在为读者提供关于如何在大规模GPU集群上高效训练大语言模型的全面指导，涵盖了分布式/并行化技术以及低级优化技巧。

LoRACaptioner 是一款强大的开源工具，专注于解决 LoRA 训练中的标注问题。通过自动生成结构化标注和优化提示，它不仅提升了训练效果，还显著增强了生成图像的质量和一致性。

OBLITERATUS 是一个最先进的开源工具包，它不通过重新训练或微调来“覆盖”模型的价值观，而是利用机械可解释性（Mechanistic Interpretability）技术，精准定位并手术式移除那些负责拒绝行为的内部权重方向。