10 月 14 日,Apache 官方博客[1]正式发布 Apache Auron™ 毕业消息,宣布 Apache Auron 从孵化器毕业,成为 Apache 顶级项目(Top-Level Project,TLP)。Auron 最初成长于快手大规模数据计算实践,并于 2025 年 8 月由快手捐赠给 Apache 软件基金会孵化器。从进入孵化器到顺利毕业,Auron 仅用时 13 个月。
在此之前,Apache Auron 的毕业提案已于 2026 年 9 月在 Apache 孵化器项目管理委员会(IPMC)投票中顺利通过[2],并随后获得 Apache 软件基金会董事会批准。至此,Auron 正式从孵化阶段走向独立自治,进入 Apache 顶级项目治理体系。
这一里程碑不仅意味着 Apache Auron 社区治理与项目成熟度获得 Apache 软件基金会认可,也意味着这一源自大规模生产实践、以 Rust 原生执行与向量化计算为核心的大数据加速项目,将在更开放的全球社区中持续演进,为大数据计算引擎性能优化开启新的篇章。
01 Apache Auron 的成长历程
孵化期间,Auron 社区保持高速迭代与稳定发布,累计发布三个版本。自进入孵化以来,master 分支持续保持高活跃度:过去 6 个月共合入 179 个 commit,贡献者来自 20 多家不同公司。毕业之际,社区已有 18 位 Committer 依毕业决议全部转为 PMC 成员,并与 4 位孵化导师共同组成 22 人的 PMC,形成了多元化、跨组织的治理格局。
与此同时,Auron 已在快手、滴滴、58同城、携程、OPPO、LinkedIn、汽车之家等数十家公司的生产环境中部署落地,并在线上场景中取得了显著的降本增效收益。
02 让大数据计算引擎跑出「原生」速度
Apache Auron 将这一技术工程化落地,其核心架构由如下部分组成:
Spark Extension:将加速器完整挂载进 Spark 执行流程,用户仅需将 Auron 作为客户端扩展安装,绝大多数 SQL 无需任何改造即可获得加速;
Flink Extension:将加速器完整挂载进 Flink 执行流程;
Auron Core:使用 JNI 对Native Engine 进行封装,对上层引擎提供 Java 接口,方便引擎的接入使用;
Native Engine(Rust):基于 Apache Arrow-DataFusion 实现的原生执行引擎,包含执行计划规范、JNI 网关、自定义算子/表达式/函数,以及内存管理、Fallback 框架等基础能力。
原生执行,性能可预期:核心引擎由 Rust 实现,规避 JVM 开销,具备稳定、确定性的执行性能;
向量化计算:基于 Apache Arrow 列式格式,利用 SIMD 指令批量处理数据,最大化计算吞吐;
完善的 Fallback 机制:未实现的算子和表达式可自动回退到 Spark 原生执行,UDF/UDTF、UDAF 等自定义函数同样支持,保证「只要 Spark 能跑,Auron 就能跑」;
可插拔架构,面向多引擎扩展:当前深度集成 Apache Spark,并基于 DataFusion 良好的可扩展性,扩展支持 Apache Flink 等其他大数据计算引擎;
丰富的周边生态支持:适配开源湖仓格式 Apache Paimon™、Apache Iceberg™ 和 Apache Hudi,开源 ShuffleService 框架 Apache Celeborn™ 和 Apache Uniffle,以及 HDFS、S3 等存储系统;
生产夯实:多级内存管理、紧凑化 Shuffle 格式、自适应执行策略,均来自大规模生产环境的实战淬炼。
03 全面通过 TPC-DS/TPC-H,实测提速约 2 倍+、节省约 50% 资源
04 毕业寄语
祝贺 Apache Auron 正式毕业,成为 Apache 顶级项目。Apache Auron自 25年8月份加入到 ASF 孵化器后,在社区得到很大的关注,体现了 ASF 开放、活跃和高度自治的社区优势。Auron 项目在快手公司立项、研发,并取得了大规模的落地实践和非常可观的大数据成本优化收益。快手公司一直秉承开放、共创的技术开源精神,并将 Auron 捐赠给 ASF。同时,也期待能与社区一起推动 Data+AI 生态基建技术发展。
—— 秦江杰|ASF Member、Apache Auron 孵化导师,LinkedIn Principal Staff Software Engineer
感谢每一位提交代码、参与讨论、报告问题的贡献者,也感谢所有在真实业务中信任并使用 Auron 的用户,毕业是新航程的起点:我们将继续秉持 Apache Way,按照 Apache 顶级项目的规范推进社区治理,保持开放、透明、共识的协作方式,健全发布流程与贡献机制,持续发展壮大。面向未来,Auron 会不断拓展生态版图。一方面,我们将持续适配并完善 Apache Spark、Apache Flink 等主流大数据计算引擎,让更多引擎的查询负载都能获得原生执行的加速能力;另一方面,我们正在基于 cuDF 打造 Auron on GPU 能力,把向量化执行从 CPU 延伸到 GPU,让 Auron 适应 AI 与 GPU 算力时代对高性能数据计算的全新需求。
05 毕业,开启新航程
从 Apache 孵化器毕业,意味着 Auron 正式成为 Apache 软件基金会的顶级项目,也意味着社区将承担更大的责任、走向更加开放的平台。未来,Apache Auron 将继续围绕四个方向深耕:
1、扩展应用生态:完善 Auron 在 Apache Flink 流和批场景的支持,以及对 Lance/Vortex 等新型存储格式的适配;
2、增加对异构硬件的支持:从 CPU 向量化计算扩展到对 GPU 和 FPGA 等异构硬件的支持,进一步提升大数据引擎算子性能;
3、持续解决生产问题:贴近生产场景,持续提升各类算子与函数的覆盖率,以及解决性能、稳定性、数据一致性问题;
4、做大社区、做强生态:欢迎更多企业与开发者以 Committer/Contributor 身份加入,共建开放、多元、可持续的社区。按 Apache 顶级项目规范完成发布流程,建立稳定、可预期的版本节奏;
感谢每一位提交代码、完善文档、参与讨论、报告问题、分享生产实践和帮助新人的贡献者;感谢所有在生产环境中信任并选择 Apache Auron 的用户与伙伴;也特别感谢在孵化期间持续指导的 Auron 孵化器导师(Calvin Kirs、Becket Qin、Nicholas Jiang、Hao Ding),是 Apache Way 的开放与透明,让 Auron 顺利走过了从孵化到毕业的关键历程。
现在,正是加入社区的好时机,原生向量化的新航程已经开启:
项目官网:https://auron.apache.org/
GitHub 代码仓库:https://github.com/apache/auron(欢迎 Star ⭐)
GitHub Issues / Pull Requests:https://github.com/apache/auron/issues
开发者邮件列表:[email protected](订阅:发送邮件至 [email protected])
06 参考链接
[1] https://news.apache.org/foundation/entry/the-apache-software-foundation-announces-new-top-level-projects-7
[2] https://lists.apache.org/thread/fd8nhg1t8mo6rq8hqojjknob4rfsrszy