本地化AI新尝试:Uptime Industries推出“AI-in-a-box”设备Lemony AI

早报6个月前发布 小马良
189 0

一家名为 Uptime Industries 的初创公司正将目光投向本地化AI基础设施,推出了一款名为 Lemony AI 的便携式“AI-in-a-box”设备,为组织提供更便捷的生成式AI部署方式。

Lemony AI 外形如同一个三明治大小的手持设备,却能在单个节点上运行大型语言模型(LLM)、AI代理和AI工作流。每台设备仅需65瓦电力运行,相当于一台笔记本电脑的功耗,并且支持堆叠连接,形成更大规模的AI集群。

据 Uptime 联合创始人兼CEO Sascha Buehrle 向 TechCrunch 透露,每个 Lemony 节点可支持高达750亿参数的模型,并兼容开源或经过修改的闭源模型。在多个设备组成的集群中,每台设备可以独立运行不同模型,实现灵活部署。

Uptime 与 IBM 和 JetBrains 合作推出该产品,目标是为企业客户提供更直接、安全的AI模型访问路径,包括对IBM部分闭源模型的支持。

从副项目到AI设备创业

Lemony AI 的灵感最初来源于一个业余项目。Uptime 的两位联合创始人 Sascha Buehrle 和 Ivan Kuleshov 曾尝试在 Raspberry Pi 微型计算机上运行分布式语言模型。尽管当时还未涉及生成式AI,但项目的成功激发了他们探索更多可能性的兴趣。

随着对本地计算潜力的理解加深,他们意识到:许多企业因数据隐私或合规要求,无法轻易使用云服务中的AI模型。于是,打造一款小型、高效、可在本地部署的AI设备成为他们的方向。

Buehrle 表示:“我们需要一种小巧易用的设备,让团队能够快速上手,而无需整个组织进行复杂决策——本质上,是将本地生成式AI引入业务一线。”

这种思路很快吸引了来自金融、医疗和法律等高度监管行业的关注。这些行业对数据安全性要求极高,而 Lemony AI 提供的正是“数据不离地”的解决方案。

“一切都在你的设备中,文档、文件、邮件——模型托管在本地,代理也在本地运行,数据不会离开你的控制。”Buehrle 强调。

发展路线与融资情况

目前,Uptime 已完成种子轮融资,筹集200万美元,由 True Ventures 领投,Alumni Ventures、JetBrains 及多位天使投资人参与投资。资金将用于进一步开发硬件及配套软件系统。

未来,Uptime 计划将其自研操作系统 Lemony OS 适配到其他厂商的硬件平台,例如 NVIDIA DGX Spark,并逐步从当前的单用户模式扩展至支持多用户协作的团队场景。

Lemony AI 当前的订阅费用为每月499美元,最多支持五名用户使用。

© 版权声明

相关文章

暂无评论

none
暂无评论...