
Eon.io 正式推出 Eon Yukon,这是一款面向智能体(Agents)、应用程序和数据分析的高性能数据层。该产品旨在解决传统数据架构中因拼接多个独立系统(如摄取、转换、聚合、表维护和服务)而导致的计算冗余、管理复杂以及数据新鲜度延迟等问题。

核心架构与工作原理
Eon Yukon 将数据的摄取、处理、表维护和实时服务整合至单一流程中,其底层架构设计主要围绕以下三个工程维度展开:
- 持续摄取与自动化表维护:该引擎基于 Rust 构建,采用列式处理机制,在读取文件前将其路由至适当的写入器,以减少网络数据移动。系统通过将写入操作与提交操作分离,并将摄取进度直接存储在对象存储中(摒弃了全局检查点机制),实现了计算资源的高效利用与无缝扩展。去重、更新插入(upsert)和删除操作在每次提交时即时解决,而压缩和排序则在独立扩展的计算节点上持续运行,避免了单独维护作业对数据提交的延迟。
- 原生数据上下文构建:在数据到达时,系统会自动对每一列进行剖析,识别常见与罕见值,并保留包含关键信息的智能样本。基于这些数据,系统为每个表动态维护一份“活文档”,记录列含义、核心业务指标及其历史变化(如特定事件后的指标波动)。这些上下文信息可通过模型上下文协议(MCP)直接暴露,使智能体在首次查询前即可理解数据结构,无需扫描全表。
- 统一查询与亚毫秒级实时服务:Eon 提供分布式无服务器查询引擎,支持标准 SQL 和 Spark 兼容的 DataFrame,并利用摄取时生成的统计信息来优化查询计划。对于需要极低延迟的实时应用,系统通过 Redis 兼容接口或 HTTP API 提供按键查询服务。其存储架构采用分层设计:热键驻留内存,温键存储于本地磁盘,其余数据保留在对象存储中,从而在不到一毫秒的时间内提供聚合的最新状态,免除了将数据同步至独立缓存系统(如 Redis 或 Aerospike)的额外管道开销。
基准测试与性能数据
为了量化保持开放格式表可用性的真实成本,Eon 开发了 ingest-bench 基准测试工具,综合评估数据新鲜度、文件大小以及计算资源消耗。在每秒处理 100 万事件(吞吐量超过 1.4 GiB/s)、从 Kafka 写入 Iceberg 的持续一小时测试中,Eon Yukon 展现出显著的资源效率优势:
- 计算资源大幅降低:在满足相同正确性和新鲜度要求的前提下,Eon Yukon 所需的计算资源约为 Apache Spark 的四分之一,Apache Flink 的七分之一。该优势在数据倾斜(大量事件流向单一键)的极端输入场景下依然保持稳定。
- 表维护成本优化:当综合考虑持续维护表的工作负载时,Eon Yukon 集成的摄取与压缩流程,其计算消耗不到“Spark 摄取 + 独立 Spark 压缩作业”组合的四分之一。
- 高效的状态更新:在 upsert 测试中,与 Spark 和 Flink 相比,Eon Yukon 仅需约三分之一的计算资源和四分之一的内存,即可维护每条记录的最新版本。
部署模式与生态兼容性
在数据存储与生态集成方面,Eon Yukon 坚持开放标准。它通过客户提供的访问角色,直接将数据以开放的 Apache Iceberg 表格式写入用户自有的 Amazon S3 或 Google Cloud Storage 中。这意味着数据始终保留在用户的云环境内,企业可以继续使用其现有的 Iceberg 查询引擎和数据目录,而不会将数据访问权限绑定于单一供应商。
目前,Eon Yukon 支持独立部署,也可与 Eon Data Protection 结合使用,后者通过 Zero-ETL 技术将受保护的数据同样以开放 Iceberg 表的形式提供,从而为分析、应用和 AI 构建统一的实时数据基础。
相关导航


J-Space Cognition Suite

QuantDinger

MediaCrawler

Webwright

Rapid-ML

OSMO







