快手技术公众号文章

从快手生产实践到 Apache 顶级项目:Apache Auron 正式毕业

Apache Auron 毕业成为 Apache 顶级项目!

快手技术

公众号 · 15 篇文章

图片

10 月 14 日,Apache 官方博客[1]正式发布 Apache Auron™ 毕业消息,宣布 Apache Auron 从孵化器毕业,成为 Apache 顶级项目(Top-Level Project,TLP)。Auron 最初成长于快手大规模数据计算实践,并于 2025 年 8 月由快手捐赠给 Apache 软件基金会孵化器。从进入孵化器到顺利毕业,Auron 仅用时 13 个月。


在此之前,Apache Auron 的毕业提案已于 2026 年 9 月在 Apache 孵化器项目管理委员会(IPMC)投票中顺利通过[2],并随后获得 Apache 软件基金会董事会批准。至此,Auron 正式从孵化阶段走向独立自治,进入 Apache 顶级项目治理体系。


这一里程碑不仅意味着 Apache Auron 社区治理与项目成熟度获得 Apache 软件基金会认可,也意味着这一源自大规模生产实践、以 Rust 原生执行与向量化计算为核心的大数据加速项目,将在更开放的全球社区中持续演进,为大数据计算引擎性能优化开启新的篇章。


图片


01 Apache Auron 的成长历程


Apache Auron 是一个面向大数据引擎的原生向量化执行加速器,当前聚焦于加速 Apache Spark 的查询处理。它结合 Apache Arrow-DataFusion 的原生计算能力与 Spark 的分布式计算框架,将 Spark 优化后的物理计划转换为等价的原生执行计划,交由基于 Rust 实现的 Native Engine 执行,从而带来显著的性能提升与资源节省。

Auron 的诞生,源于快手大规模数据处理场景中的真实工程挑战。随着数据规模持续增长,基于 JVM 的行式处理逐渐成为 Spark 的 CPU 性能瓶颈。为了在不改变业务 SQL 的前提下实现 Spark 的加速,Auron 从快手内部大规模实践起步,历经生产打磨与开源共建,于 2025 年 8 月进入 Apache 软件基金会孵化器,从一项团队技术探索,逐步成长为全球开发者共同建设的开源项目。

孵化期间,Auron 社区保持高速迭代与稳定发布,累计发布三个版本。自进入孵化以来,master 分支持续保持高活跃度:过去 6 个月共合入 179 个 commit,贡献者来自 20 多家不同公司。毕业之际,社区已有 18 位 Committer 依毕业决议全部转为 PMC 成员,并与 4 位孵化导师共同组成 22 人的 PMC,形成了多元化、跨组织的治理格局。


与此同时,Auron 已在快手、滴滴、58同城、携程、OPPO、LinkedIn、汽车之家等数十家公司的生产环境中部署落地,并在线上场景中取得了显著的降本增效收益。


02 让大数据计算引擎跑出「原生」速度


传统大数据计算引擎执行采用行式逐条处理:每行数据都要经过函数调用、类型判断等层层开销,数据量越大,CPU 延迟成为越明显的瓶颈。向量化执行按批(Batch)处理数据,最大限度发挥 SIMD 指令优势,成为突破大数据计算引擎性能瓶颈的关键手段。


图片


Apache Auron 将这一技术工程化落地,其核心架构由如下部分组成:

  • Spark Extension:将加速器完整挂载进 Spark 执行流程,用户仅需将 Auron 作为客户端扩展安装,绝大多数 SQL 无需任何改造即可获得加速;

  • Flink Extension:将加速器完整挂载进 Flink 执行流程;

  • Auron Core:使用 JNI 对Native Engine 进行封装,对上层引擎提供 Java 接口,方便引擎的接入使用;

  • Native Engine(Rust):基于 Apache Arrow-DataFusion 实现的原生执行引擎,包含执行计划规范、JNI 网关、自定义算子/表达式/函数,以及内存管理、Fallback 框架等基础能力。


Auron 的加速能力体现在多个维度:
  • 原生执行,性能可预期:核心引擎由 Rust 实现,规避 JVM 开销,具备稳定、确定性的执行性能;

  • 向量化计算:基于 Apache Arrow 列式格式,利用 SIMD 指令批量处理数据,最大化计算吞吐;

  • 完善的 Fallback 机制:未实现的算子和表达式可自动回退到 Spark 原生执行,UDF/UDTF、UDAF 等自定义函数同样支持,保证「只要 Spark 能跑,Auron 就能跑」;

  • 可插拔架构,面向多引擎扩展:当前深度集成 Apache Spark,并基于 DataFusion 良好的可扩展性,扩展支持 Apache Flink 等其他大数据计算引擎;

  • 丰富的周边生态支持:适配开源湖仓格式 Apache Paimon™、Apache Iceberg™ 和 Apache Hudi,开源 ShuffleService 框架 Apache Celeborn™ 和 Apache Uniffle,以及 HDFS、S3 等存储系统;

  • 生产夯实:多级内存管理、紧凑化 Shuffle 格式、自适应执行策略,均来自大规模生产环境的实战淬炼。


03 全面通过 TPC-DS/TPC-H,实测提速约 2 倍+、节省约 50% 资源


性能提升是 Apache Auron 最直接的价值体现。Apache Auron 已全部通过 TPC-DS/TPC-H 基准用例;相比 Apache Spark 3.5,在 TPC-DS 基准下 Auron 运行速度提升 2 倍以上,同时节省约 50% 的计算资源。在大规模生产环境中,Auron 已在超过 EB 级(Exabytes)数据规模下验证运行,覆盖 JSON 解析、UDF/UDTF 等复杂生产场景,并解决了多项稳定性与数据一致性问题。

图片

04 毕业寄语


祝贺 Apache Auron 正式毕业,成为 Apache 顶级项目。Apache Auron自 25年8月份加入到 ASF 孵化器后,在社区得到很大的关注,体现了 ASF 开放、活跃和高度自治的社区优势。Auron 项目在快手公司立项、研发,并取得了大规模的落地实践和非常可观的大数据成本优化收益。快手公司一直秉承开放、共创的技术开源精神,并将 Auron 捐赠给 ASF。同时,也期待能与社区一起推动 Data+AI 生态基建技术发展。  

—— 郭亮|快手高级副总裁、研发线负责人

很高兴见证 Apache Auron 成为 Apache 软件基金会顶级项目。Auron 的孵化颇为特别,初始团队本就汇聚了来自不同开源项目、拥有丰富 Apache 社区经验的 PPMC 成员与 Committer,因此从进入孵化器第一天起,社区基础就非常扎实。一路走来,社区治理、技术发展、贡献者参与与版本发布均进展顺利。某种意义上,今天的毕业是水到渠成;但话说回来,毕业只是开始,我们非常期待 Auron 能够持续推动大数据计算领域的创新和发展,为中国开源带来更多可能。
—— 郭强|ASF Member、Apache Auron 孵化 Champion 
很高兴见证 Apache Auron 从孵化走向毕业。良好的版本兼容性和易用性一直是 Auron 非常突出的特点,也让 Native Execution 的性能收益能够更容易地落地到实际生产环境。在 LinkedIn 的 Spark Batch 场景中,我们已经看到了 Auron 带来的性能和资源效率提升。我也非常认可 Auron 向跨引擎方向发展的探索,期待未来能够进一步支持包括 Flink 在内的其他计算引擎,让更多大数据场景受益于统一、高效的 Native Execution 能力。TLP 是 Auron 社区发展中的一个重要里程碑,也是一个新的起点。祝贺所有为 Auron 做出贡献的社区成员,期待 Auron 在 Apache 的道路上继续成长,为大数据生态带来更多价值!

—— 秦江杰|ASF Member、Apache Auron 孵化导师,LinkedIn Principal Staff Software Engineer

感谢每一位提交代码、参与讨论、报告问题的贡献者,也感谢所有在真实业务中信任并使用 Auron 的用户,毕业是新航程的起点:我们将继续秉持 Apache Way,按照 Apache 顶级项目的规范推进社区治理,保持开放、透明、共识的协作方式,健全发布流程与贡献机制,持续发展壮大。面向未来,Auron 会不断拓展生态版图。一方面,我们将持续适配并完善 Apache Spark、Apache Flink 等主流大数据计算引擎,让更多引擎的查询负载都能获得原生执行的加速能力;另一方面,我们正在基于 cuDF 打造 Auron on GPU 能力,把向量化执行从 CPU 延伸到 GPU,让 Auron 适应 AI 与 GPU 算力时代对高性能数据计算的全新需求。

—— 王磊|Apache Auron PMC Chair
衷心祝贺 Apache Auron 顺利从孵化器毕业,成为 Apache 顶级项目!在大规模数据处理场景中,计算效率、运行稳定性与资源成本始终是我们关注的核心问题。Auron 以原生向量化执行技术为大数据计算加速,为企业提升计算效率、释放存量资源价值提供了新的选择。此次毕业,是社区共同努力的重要成果,也为项目的长远发展开启了新的篇章。感谢每一位贡献者的投入与坚持,期待 Auron 持续打磨技术、拓展生态,让更多企业受益于开源创新。也期待与社区伙伴加强交流、携手共建,共同推动大数据基础软件的发展。          
    
—— 张润林|滴滴大数据计算引擎负责人
祝贺 Apache Auron 正式毕业,成为 Apache 软件基金会顶级项目。我们在大数据计算场景中持续关注并实践 Apache Auron,落地任务 2.5W+,提效占比 65%,平均提效 45% 以上。Apache Auron 通过原生向量化执行,在保持较低接入门槛的前提下,为现有大数据平台带来了更高的计算效率和更好的资源利用率。此次毕业不仅是技术发展的重要里程碑,也体现了社区在开放治理、协作机制和可持续发展方面的成熟。期待 Apache Auron 汇聚更多产业力量,为全球大数据基础设施创造长期价值。
—— 余意|58 同城数据架构部负责人

祝贺 Apache Auron 毕业!作为早期用户和社区贡献者,我们很高兴看到它从一项技术探索,逐渐成长为由不同公司和开发者共同参与的 Apache 项目。一路上,Auron 的不断完善,既来自真实业务场景中的反馈,也离不开贡献者持续的讨论和投入。期待有更多用户和开发者加入,一起把 Auron 做得更好。

—— 陈少云| 携程离线计算基础设施负责人

05 毕业,开启新航程


从 Apache 孵化器毕业,意味着 Auron 正式成为 Apache 软件基金会的顶级项目,也意味着社区将承担更大的责任、走向更加开放的平台。未来,Apache Auron 将继续围绕四个方向深耕:


1、扩展应用生态:完善 Auron 在 Apache Flink 流和批场景的支持,以及对 Lance/Vortex 等新型存储格式的适配;

2、增加对异构硬件的支持:从 CPU 向量化计算扩展到对 GPU 和 FPGA 等异构硬件的支持,进一步提升大数据引擎算子性能;

3、持续解决生产问题:贴近生产场景,持续提升各类算子与函数的覆盖率,以及解决性能、稳定性、数据一致性问题;

4、做大社区、做强生态:欢迎更多企业与开发者以 Committer/Contributor 身份加入,共建开放、多元、可持续的社区。按 Apache 顶级项目规范完成发布流程,建立稳定、可预期的版本节奏;


感谢每一位提交代码、完善文档、参与讨论、报告问题、分享生产实践和帮助新人的贡献者;感谢所有在生产环境中信任并选择 Apache Auron 的用户与伙伴;也特别感谢在孵化期间持续指导的 Auron 孵化器导师(Calvin Kirs、Becket Qin、Nicholas Jiang、Hao Ding),是 Apache Way 的开放与透明,让 Auron 顺利走过了从孵化到毕业的关键历程。


现在,正是加入社区的好时机,原生向量化的新航程已经开启:

  • 项目官网:https://auron.apache.org/

  • GitHub 代码仓库:https://github.com/apache/auron(欢迎 Star ⭐)

  • GitHub Issues / Pull Requests:https://github.com/apache/auron/issues


06 参考链接


[1] https://news.apache.org/foundation/entry/the-apache-software-foundation-announces-new-top-level-projects-7

[2] https://lists.apache.org/thread/fd8nhg1t8mo6rq8hqojjknob4rfsrszy



👇 点击【阅读原文】,查看项目详情!

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →