在AI领域，Transformer 架构长期以来一直是大型语言模型（LLM）的核心。然而，这种依赖可能即将被打破。总部位于波士顿的基础模型初创公司Liquid AI近日宣布推出一款名为Hyena Edge的新型模型，专为智能手机和其他边缘设备设计。这一突破性进展有望彻底改变 LLM 在资源受限环境中的运行方式。
告别 Transformer，迎接 Hyena Edge
大多数流行的 LLM（如 OpenAI 的 GPT 系列和 Google 的 Gemini 系列）都基于 Transformer 架构。尽管其性能强大，但 Transformer 的高计算需求和内存占用使其在边缘设备上的部署面临挑战。Liquid AI 的 Hyena Edge 通过一种全新的基于卷积的多混合架构，成功绕开了这些限制。
Hyena Edge 模型摒弃了传统的重注意力机制设计，取而代之的是由Hyena-Y 系列门控卷积替代三分之二的分组查询注意力 (GQA) 算子。这种新架构不仅显著降低了延迟和内存消耗，还保持了与 Transformer 基线模型相当甚至更高的性能。
实际测试：更快、更省、更强
为了验证 Hyena Edge 的实际表现，Liquid AI 在三星 Galaxy S24 Ultra 智能手机上进行了基准测试。结果令人印象深刻：
更低的延迟：相比参数匹配的 Transformer++ 模型，Hyena Edge 的预填充和解码延迟最多可提高 30%。随着序列长度增加，速度优势更加明显。 更小的内存占用：Hyena Edge 在所有测试序列长度下始终使用更少的 RAM，非常适合资源受限的边缘设备。 更高的性能：在短序列长度下的预填充延迟表现尤为突出，这对于需要快速响应的设备端应用至关重要。
语言基准测试中的卓越表现
除了效率提升，Hyena Edge 在语言任务上的表现同样亮眼。该模型在包含 1000 亿个 token 的数据集上进行了训练，并在多个标准基准测试中进行了评估，包括 Wikitext、Lambada、PiQA、HellaSwag、Winogrande 和 ARC 系列。结果显示：
在 Wikitext 和 Lambada 的困惑度得分上，Hyena Edge 显著优于 Transformer++ 模型。 在 PiQA、HellaSwag 和 Winogrande 的准确率上也有显著提升。
这些结果表明，Hyena Edge 的效率优化并未以牺牲预测质量为代价，打破了传统边缘优化模型中常见的性能权衡。
STAR 框架：自动化架构设计的幕后功臣
Hyena Edge 的成功离不开 Liquid AI 的定制架构合成 (STAR)框架。STAR 是一个基于进化算法的自动化工具，能够探索广泛的算子组合并优化模型设计。它根植于线性输入变化系统的数学理论，旨在实现延迟、内存使用和模型质量等多目标优化。
一个近期发布的视频演示详细展示了 Hyena Edge 的演进过程。视频通过可视化的方式呈现了关键性能指标（如预填充延迟、解码延迟和内存消耗）如何随着架构改进逐步提升。观众还可以看到算子类型（如自注意力机制、Hyena 变体和 SwiGLU 层）分布的动态变化，这为理解 Hyena Edge 的设计原则提供了宝贵的背景信息。
开源计划与未来愿景
Liquid AI 表示，计划在未来几个月内开源一系列基础模型，包括 Hyena Edge。其目标是构建能够从云数据中心扩展到个人边缘设备的高效通用人工智能系统。
Hyena Edge 的推出不仅展示了替代架构在实际应用中的潜力，也为边缘优化 AI 设定了新的基准。随着移动设备越来越需要在本地运行复杂的 AI 工作负载，像 Hyena Edge 这样的模型可能会成为未来边缘计算的重要支柱。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
