58敏捷BI系统的设计与实践

1. 《58敏捷BI系统的设计与实践》讲师：张自博 – 大数据部

2. 1. 敏捷BI平台介绍 2. 敏捷BI技术架构介绍 3. 核心功能技术探究 4. 未来展望

3. 01 敏捷BI平台介绍合作案例

4. 产品定义星火是什么？星火是58自研的新一代具备SaaS能力的数据分析可视化产品，提供敏捷 BI 、可视化报告、 Dashboard服务、数据大屏等能力，以数据洞察为导向，从数据接入到终端展现，提供数据生态全链路解决方案。

5. 产品介绍

6. 产品介绍

7. 行业现状各取所长,突出特色！数据安全数据处理可视化

8. 功能架构

9. 安全易用的SAAS服务星火于2021年推出了SAAS服务,专注于为58集团外部用户提供安全、易用的BI服务。基于RBAC的系统权限，细化到行列的权限控制基于域名的资源隔离，支持物理级别服务隔离。丰富数据源接入，基于Clickhouse的极速查询和内部版同步的迭代频率，第一时间体验全新版本

10. 他们都在用星火 58同城安居客转转覆盖集团内365项目组,17个BG 赶集直招到家精选驾校一点通集团用户数2597 8672个仪表板人人车 58数科 58魔方

11. 02 星火技术架构介绍技术架构合作案例

12. 星火技术架构灰度发布链路日志异构查询 MPP加速数据ETL 域流量隔离

13. 03 完备的权限体系高性能BI查询引擎 MPP缓存加速核心功能技术探究数据可视化资源库星火开发者服务

14. 3.1 完备的权限体系高性能BI查询引擎权限体系合作案例 MPP缓存加速完备的权限体系数据可视化资源库星火开发者服务

15. 完备的权限体系为保证数据安全，实现千人千面的权限控制，所有BI产品都需要有一套完善的权限体系。星火基于主流RBAC模型思想实现了一套覆盖系统功能权限和数据权限的严密高效的权限体系。权限拥有者 Who 权限资源 What 资源操作 How 鉴权过程就可以转换为判断【Who是否可以对What 进行How操作】是否为 TRUE的过程。

16. 完备的权限体系 • 星火权限分为功能权限和数据权限。 • 用户权限由用户本身的权限+所属用户组的权限+所拥有角色的权限共同决定,

17. 功能权限-菜单权限

18. 功能权限-资源权限资源权限用户数据源数据集仪表板用户组使用管理使用管理使用管理

19. 功能权限-资源权限

20. 数据权限-列权限列权限支持允许查看所有列、查看指定列以及不允许查看指定列。

21. 完备的权限体系-行权限行权限支持基于固定值和基于属性值的权限设置。基于属性值的权限设置可以极大提高行级授权的效率。

22. 资源操作鉴权过程基于二进制运算的鉴权实现权限由“资源” + “操作”组成，星火“操作”底层通过 “位”存储，并通过二进制运算进行鉴权。用户表 id name 资源表 id type 用户权限表 id user_id 资源报表 resouece_id operations 数据源操作对应位新建报表十进制：1 0b00000001 删除报表十进制：2 0b00000010 ...... ...... 判断用户是否拥有报表删除权限 select operation&2 from user_permission where user_id=1 and resource_id=1

23. 3.2 完备的权限体系高性能BI查询引擎数据查询引擎合作案例 MPP缓存加速高性能BI查询引擎数据可视化资源库星火开发者服务

24. 高性能BI查询引擎 BI查询需要解决的问题语法多样查询慢 BI查询二次计算异构数据查询

25. 高性能BI查询引擎

26. 高性能BI查询引擎同环比计算流程

27. 高性能BI查询引擎

28. 3.3 完备的权限体系高性能BI查询引擎 MPP缓存加速 MPP缓存加速数据可视化资源库星火开发者服务

29. MPP缓存加速功能背景同环比计算流程本地数据源 Hive表 OLAP分析云窗文档数据抽取

30. MPP缓存加速

31. MPP缓存加速

32. MPP缓存加速

33. MPP缓存加速

34. ClickHouse在星火的实践 1 星火使用了基于 ReplicatedMergeTree + Distributed 的集群架构方案，保证了集群的高性能和高可用。 2 通过读分布式表、写本地表，控制写入批次和写入间隔，大幅提升集群读写性能。 3 将节点磁盘挂载到58自研WFS分布式文件系统，实现存算分离，解决随业务增长引起的磁盘不足问题。 4 将业务表均匀打散创建到多个不同集群，进一步降低运行风险。

35. 3.4 完备的权限体系高性能BI查询引擎数据查询引擎合作案例 MPP缓存加速数据可视化资源库数据可视化资源库星火开发者服务

36. 星图-数据可视化资源库在使用星火过程中用户经常会碰到以下问题星火通用组件不满足需求？想要一套美观易用的可视化解决方案？自己制作的图表组件很好用，希望分享给其他用户？基于上述原因，星火联合58UXD联合打造了58数据可视化资源库-星图。

37. 星图-数据可视化资源库 WCharts是星火与58UXD联合打造的一套简洁美观、专业可靠的数据可视化解决方案。图表库是面向全网的图表开放社区，所有图表组件均由开发者自助开发、共享，打通图表开发与应用闭环。使用图表库发布星火工作台 Wcharts 制作图表

38. 星图-数据可视化资源库

39. 星图-数据可视化资源库

40. 星图-数据可视化资源库

41. 3.5 完备的权限体系高性能BI查询引擎数据查询引擎合作案例 MPP缓存加速星火开发者服务数据可视化资源库星火开发者服务

42. 简单开放的开发者服务为解决业务系统制作各种数据图表开发成本高、维护难的问题，星火提供了丰富的开放接口以及安全便捷的报表嵌入功能，支持将报表无缝集成到企业专有平台内。

43. 简单开放的开发者服务

44. 04 未来展望数据查询引擎合作案例

45. 未来展望更多样的数据接入更方便的数据处理更强大的可视化组件更智能的星火 • api数据源 • 流式数据 • 非sql语法数据源 • 轻量化ETL • 电子表格 • 图形语法组件 • 数据门户 • 智能预警 • 指标归因分析

46. 数据查询引擎合作案例

47. 58xinghuo.com Thank You