GreenBoost：Linux 下的“显存无限”魔法，让 12GB 显卡跑 32GB 大模型
你是否拥有一张消费级显卡（如 RTX 4070/5070 12GB），却眼馋那些需要 24GB 甚至 48GB 显存才能运行的超大语言模型（如 GLM-4-Flash, Llama-3-70B）？ 传...
排序
Meta FAIR提出 Darling：用强化学习平衡大语言模型生成质量与语义多样性
由 Meta FAIR、卡内基梅隆大学与约翰霍普金斯大学联合提出的新框架 Darling（Diversity-Aware Reinforcement Learning for Generation...
大语言模型知识获取研究新工具：特拉维夫大学与麦吉尔大学推出 LMEnt 套件
语言模型正在越来越多地承担需要世界知识的任务：回答问题、生成事实性文本、辅助决策……但一个根本性问题仍未解决： 模型是如何从训练数据中“学会”知识的？ 我们训练模型时喂的是文本，但它输出的却是“信念...
Beyond Memorization：通过不同的架构和训练方法来提升大语言模型多步推理能力
阿联酋MBZUAI、莫斯科物理技术学院、莫斯科AIRI和伦敦数学科学研究所的研究人员推出Beyond Memorization，通过不同的架构和训练方法来提升大语言模型（LLMs）多步推理能力。作者们...
DuPO框架：通过双学习和偏好优化的方法，使大语言模型能够在没有标注数据的情况下进行自我验证和优化
字节跳动Seed团队和南京大学的研究人员推出DuPO框架，它通过双学习（dual learning）和偏好优化（preference optimization）的方法，使大语言模型（LLMs）能够在没...
MemOS：为大语言模型设计的长期记忆操作系统
MemOS 是由记忆张量科技联合上海交通大学、同济大学、浙江大学、北京大学等多所高校及研究机构联合开源的一项突破性研究成果——专为大语言模型（LLMs）设计的长期记忆操作系统。 项目主页：https...
LongWriter-Zero：通过强化学习从零开始训练大语言模型，以实现超长文本生成
新加坡科技设计大学和清华大学的研究人员推出新型模型LongWriter-Zero，基于 Qwen 2.5-32B-Base 构建，通过强化学习（RL）从零开始训练大语言模型（LLMs），以实现超长文本...
LMCache：为大语言模型加速的新一代缓存系统
随着大语言模型（LLM）在各类应用场景中的广泛部署，如何提升推理效率、降低延迟、节省资源成为关键挑战。近日，开源项目 LMCache 正式亮相，它是一个专为 LLM 服务优化的高性能缓存引擎，显著降低...
针对大语言模型（LLMs）的量化感知训练（QAT）的统一缩放定律
香港大学和字节跳动的研究人员介绍了一种针对大语言模型（LLMs）的量化感知训练（QAT）的统一缩放定律。量化是一种减少模型权重和激活精度的方法，以降低内存使用和计算成本。尽管现有的量化方法在中等精度...
ComfyUI LLM Toolkit：将各种大语言模型提供商与 ComfyUI 集成的自定义节点集合
ComfyUI LLM Toolkit是一个专为 ComfyUI 打造的自定义节点集合，旨在将多种大语言模型（包括云端和本地模型）无缝集成到工作流中。无论是文本生成、图像创作，还是未来的视频生成，这款...
ComfyUI GeminiOllama Extension：将大语言模型及多种图像处理工具集成到 ComfyUI 中
ComfyUI GeminiOllama Extension是一款ComfyUI插件，此插件将 Google 的 Gemini API、OpenAI（ChatGPT）、Anthropic 的 Clau...
高效的无数据量化方法HIGGS：可快速压缩大语言模型而无需显著牺牲质量
近年来，大语言模型（LLM）的快速发展为AI领域带来了巨大的潜力，但其对计算资源的高需求也限制了广泛应用。无论是研究机构还是个人开发者，都面临着高昂的成本和技术门槛。然而，这一局面可能即将被打破。 由...
