TriAttention：基于三角 KV 压缩的高效长推理，让 32B 模型在 24GB 显存上流畅运行
麻省理工学院、英伟达和浙江大学的研究人员联合推出了一项突破性技术——TriAttention。这是一种基于三角级数（Triangular Series）的 KV 缓存压缩方法，解决大型语言模型（LLM...
排序
别卷记忆模块了！南洋理工新发现：只看最近4帧，直接碾压13个SOTA模型
在AI领域，我们常常陷入一种迷思：“模型越复杂、记忆越长，效果就越好。” 尤其是在流式视频理解（Streaming Video Understanding）这一前沿赛道，各大研究团队都在拼命堆砌复杂的...
IndexCache：解锁长上下文 AI 的“速度密码”，推理提速高达 1.82 倍
在处理 20 万 token 甚至更长的上下文时，大型语言模型（LLM）往往面临“又贵又慢”的困境。随着上下文长度增加，计算成本呈平方级飙升，成为阻碍长文档分析、复杂智能体工作流落地的最大瓶颈。 论文...
Hugging Face发布TRL v1.0 ：统一大模型后训练工作流，从 SFT 到 DPO/GRPO 一站式解决
Hugging Face 正式发布了 TRL (Transformer Reinforcement Learning) v1.0。这标志着该库从一个主要用于学术研究的实验性仓库，正式转型为稳定、生产就...
TurboQuant：谷歌新算法实现零精度损失压缩，KV Cache 内存缩减 6 倍
在大型语言模型（LLM）向更长上下文、更复杂任务演进的过程中，显存瓶颈已成为制约效率的关键障碍。尤其是键值缓存（KV Cache），随着序列长度增加呈线性增长，不仅占用大量显存，还限制了推理速度和并发...
PaCo-RL：西安交大首创“一致性裁判”强化学习框架，让AI生成四张图也能保持角色与风格完美统
你是否曾有过这样的经历：想让AI画一组连环画，比如“一只狐狸在森林、舞台、海边、卧室弹吉他”，结果AI生成的四张图里，狐狸变成了四种不同的动物，吉他变了样，画风也从油画突变成了水彩？ 这就是AI绘画领...
清华与蚂蚁发布 OpenClaw 五层安全框架：揭示技能投毒与内存污染风险，构建全生命周期纵深防御
随着 OpenClaw 等自主 LLM 智能体从“被动问答”进化为能执行高权限系统任务的“主动实体”，其面临的安全挑战也发生了质变。 论文地址：https://arxiv.org/pdf/2603.1...
月之暗面发布 Attention Residuals：用深度注意力替代固定残差，Kimi Linear 多项基准性能显著提升
在现代 Transformer 架构中，残差连接（Residual Connection）一直是维持深层网络训练稳定的基石。然而，月之暗面（Moonshot AI）的研究人员指出，这种沿用多年的标准机...
英伟达发布 KVTC 新技术：无需改模型即可将 LLM 内存占用缩小 20 倍，首字延迟降低 8 倍
在大语言模型（LLM）的推理过程中，有一个长期存在的痛点：随着对话变长，显存占用呈线性甚至指数级增长。这就是著名的 KV 缓存（Key-Value Cache） 瓶颈。 现在，英伟达（NVIDIA）的...
开源架构 Mamba-3 正式发布：推理速度超越 Transformer，同性能下显存占用减半，Apache 2.0 许可商用免费
生成式 AI 的基石——Transformer 架构，自 2017 年诞生以来统治了行业近十年。然而，其高昂的计算成本和线性增长的内存需求，让大规模推理变得极其昂贵。 现在，挑战者来了。 由卡内基梅隆...
GreenBoost：Linux 下的“显存无限”魔法，让 12GB 显卡跑 32GB 大模型
你是否拥有一张消费级显卡（如 RTX 4070/5070 12GB），却眼馋那些需要 24GB 甚至 48GB 显存才能运行的超大语言模型（如 GLM-4-Flash, Llama-3-70B）？ 传...
FastVideo 里程碑：单卡 4.5 秒生成 1080p 视频，AI 视频创作进入“实时交互”时代
“灵感稍纵即逝，但生成却要等几分钟。” 这是当前 AI 视频创作者最大的痛点。当生成速度慢于构思速度时，创意的反馈循环就被彻底打破了。 FastVideo 团队宣布了一项突破性进展：他们成功将开源模型...
