1. Apache Kyuubi (Incubating) 介绍 kyuubi.apache.org Kent Yao | Apache Kyuubi PPMC

2. 个人简介 • 姚琴（Kent Yao) • • • • 网易数帆 – 有数 Apache Kyuubi (Incubating) 发起人及PPMC Apache Spark Committer Apache Submarine Committer

3. CONTENTS 01 02 03 04 系统简介 架构解析 使用场景 开放社区

4. 系统简介 What is Apache Kyuubi (Incubating)?

5. Apache Kyuubi (Incubating) • A HiveServer2-like API • Multi-tenant Spark Support • Running Spark in a serverless way

6. Apache Kyuubi (Incubating) - Serverless SQL on Lakehouse • 支持多种接入方式 • Thrift JDBC/ODBC – 连接 Hive 生态 • REST – 统一提交服务 (https://github.com/apache/incubator-kyuubi/issues/950) • MySQL – 连接传统数据库生态（https://github.com/apache/incubator-kyuubi/issues/1219） • 支持多种后端引擎 • Spark SQL • Flink SQL（https://github.com/apache/incubator-kyuubi/issues/1322） • … • 支持多种大数据场景应用 • ETL • BI 报表 • 数据湖分析，Delta Lake / Apache Hudi / Iceberg • 支持多租户、高可用 • 项目地址：https://github.com/apache/incubator-kyuubi

7. 架构解析 What is Apache Kyuubi (Incubating)?

8. Spark Thrift Server 已知问题 • 服务与计算引擎耦合 • 单应用 • 单条队列，资源不隔离 • 单个Driver，容易过载 • SQL 编译 • DAG 调度 • 单租户 • 数据安全 • 无高可用 • 客户端并发受限 • 单点故障

9. Kyuubi 架构 • 服务与计算引擎解耦 • 多应用 • 租户隔离 • 多session共享 • 对引擎单独配置队列、资源等 • 多租户 • 服务端统一认证 • 引擎端独立鉴权 • 高可用 • 负载均衡，水平扩展 • 平滑升级，无感迁移

10. 引擎隔离共享策略 CONNECTION GROUP USER SERVER 10

11. 使用场景 Usage

12. Kyuubi 使用场景 • 替换 HiveServer2 • • • • 兼容 Hive Thrift JDBC/ODBC 协议 多租户，兼容各种使用场景 Hive QL 兼容性 Spark SQL 性能优势 • 大数据上云 • 统一的接口 • 对用户屏蔽 Spark on K8s 的复杂性 • 作业级回滚、业务不中断 • 数据湖分析 • 支持多 Catalog 的元数据 API • 支持 DeltaLake、Hudi 及 Iceberg 等

13. 开放社区 Open Community

14. Kyuubi 社区发展 2018 2020 2021 Future-proofing 1.3.0-incubating released All workloads: ETL, BI Connectivity to all Lakehouses Bring more contributors Serverless Spark First Apache Release 1.x New Design Open Sourced Developed at NetEase Multi-tenant support for Spark Mainly designed for BI A bit hacky！ Community growing 2019 2021 0.x EOL Apache Incubator Limitations of the arch 2021-05-31 [DISCUSS] Spark closed the `backdoor` 2021-06-14 [VOTE] 2021-06-21 [ACCEPTED]

15. Kyuubi 社区用户

16. 如何参与 Apache Kyuubi 社区？ • 分享调研使用案例 • https://github.com/apache/incubator-kyuubi/discussions/925 • 订阅邮件列表 • dev-subscribe@kyuubi.apache.org • 记录问题 • https://github.com/apache/incubator-kyuubi/issues • 贡献代码 • • • • 文档 测试 bugfix improvement • 订阅微信公众号及投稿

17. Thanks. Apache Kyuubi: Serverless SQL on Lakehouse. Kent Yao kyuubi.apache.org