全生命周期的低码方案

1. 全生命周期的低代码方案叶鑫林 - ryan 腾讯数据产品开发组负责人

2.

3. 西电腾讯设计、企业IT、安全、数据技术栈大数据、后台、前端低代码 OTeam PMC、《腾讯低代码企业标准》项目腾讯问卷、光谱、天眼、安全中心研发平台叶鑫林 - Ryan 当前一站式数据平台

4. 前言：关于今天的课题架构 M2 M1 协作的思想 M3 《低代码企标》 text

5. • 全生命周期的低码方案简介 • 技术架构介绍 • 落地实践 • 总结展望

6. 1.1 低代码可以做什么？逻辑可视化 UI可视化 form chart table 规则引擎 UI平台

7. 1.2 全生命周期的低代码方案数据处理 SELECT * 接口逻辑可视化 UI可视化 form gateway FROM table chart WHERE condition=... table 数据平台微服务规则引擎调度与部署 UI平台

8. 1.3.1 低代码要解决的业务问题需求：统计某业务的全国各城市登陆人数，并提供一个可检索的页面传统流程：数据开发->后台开发->前端开发低代码流程：数据平台 SQL完成数据统计逻辑可视化配置可检索接口如何让非开发人员，独立完成配置？ UI可视化配置可交互页面

9. 1.3.2 低代码的痛点数据平台 SQL完成数据统计日志记录的是IP 目前要按城市计数 SQL无法处理复杂逻辑逻辑可视化配置可检索接口配置接口库？账号？密码？表名？字段？类型？ Ctrl+C Ctrl+V 还是给开发提需求比较简单 UI可视化配置可交互页面接口地址？请求方式是什么？参数是什么？返回是什么？ Ctrl+C Ctrl+V

10. 1.4.1 step1 使用SQL统计数据数据平台 SELECT * FROM table 我们需要更强大的SQL SELECT count(*), udf_ip_2_city(ip) FROM login_table WHERE condition=... Metadata result_table • count • city

11. 1.4.2 step2 快速生成查询接口数据平台 Metadata SELECT * result_table FROM table • count • city WHERE condition=... 微服务 gateway Mock @url get_city_data @input city string 城市 @output list CURD还要开发接口？微服务 gateway 规则引擎

12. 1.4.3 step3 接口+页面的快速配置配置前端靠 Ctrl c+v? 微服务 gateway Mock UI平台 @url get_city_data form @input city string 城市 chart @output list table

13. 我们要解决的3个问题我们需要更强大的SQL CURD还要开发接口？配置前端靠 Ctrl c+v?

14. • 全生命周期的低码方案简介 • 技术架构介绍 • 落地实践 • 总结展望

15. 2.1 架构概览 UI平台 FORM TABLE CHART 自动配置数据平台视图 Metadata select api(xxx) from table UDF Mock 规则引擎自动组件微服务 CUR D 自动注册

16. 2.2.1 联动的设计理念—协议 Metadata mock 存储 type、host、port、user、password、db 表字段存储类型字段抽象 openid string 账号 reason string 渠道 money_type int 代币类型 output bigint 数量 #各城市登陆统计表查询 POST /get_city_login_count INPUT { date #统计时间 city #城市 page #翻页参数 … } OUTPUT { code: 0 #状态码 data: }

17. 2.2.2 什么是Mock MockServer 前端后台接口请求请求拦截 Mock Data 如何收集？ Mock CGI mock Mock Data 接口响应模拟返回 Mock的应用场景：开发联调、单测 CGI

18. 2.3.1 一切皆微服务微服务网关开发者API 通用API（CURD） Mock Server 第三方API对接

19. 2.3.2 微服务自动注册mock Client mock 1: input Gateway Doc server 2: input 4: output Mock Server 5: input + output + doc 3: output #IP转城市 POST /ip/ip_2_city INPUT { ip: “1.1.1.1” #IP } OUTPUT { data: “深圳” #城市 code: 0 #状态码 } tips Gateway: 抽样上报、增量上报、异步上报 MockServer：多版本控制、覆盖策略

20. 2.3.3 MockSever设计 input http header match output unmatch mock doc ""” 数据源分页搜索 @ param data_source_type String 可选数据源类型 data_source_name String 可选数据源名称 created_by String 可选创建者 created_start String 可选创建开始时间 created_end String 可选创建结束时间 page_size Int 必选分页每页大小 page_index Int 必选分页页码 @ return created_at 创建时间 updated_at 更新时间空格分割 description 描述关键词 … 替换 """ match unmatch update #TITLE method url INPUT { input } OUTPUT { } output titile 数据源分页搜索 url /data/get_source_list method 请求字段 GET 路径 biz_id … 返回字段同服务单词库路径 result created_at … data[*]. created_at 类型说明 int 业务ID 类型说明 bool 结果 string 创建时间 http header

21. Mock Data 如何收集？通过统一网关的自动采集，所有接口我们都“了如指掌” 下一步，Mock还能做什么？我们需要更强大的SQL CURD还要开发接口？配置前端靠 Ctrl c+v?

22. 2.4.1 常规的 SQL UDF 实现 UDF 全称为 User Defined Function, 即用户自定义函数 UDF代码包 myfun(a, b){ return a+b SELECT 注册 SQL执行引擎 } 执行 myfun(a, b) FROM table UDF 注册过程微服务？

23. 2.4.2 SQL+微服务 mock #IP转城市 POST /ip/ip_2_city INPUT { ip: “1.1.1.1” #IP } OUTPUT { data: “深圳” #城市 code: 0 #状态码 } 微服务 gateway SELECT count(*), udf_ip_2_city(ip) FROM login_table url、method、param、return HTTP 电光火石：4步点击注册UDF 拒绝繁琐的UDF开发过程

24.

25. 2.4.3 SQL+微服务的加速调用方案异步请求 1 1 2 同步请求 1 2 3 并行度提升微服务 1 2 2 微服务中间结果生成重新分区，提升并行度 1、UDF注册 Task1 分片1 2、SparkSQL执行 3、标记UDF字段（伪执行） 4、输出中间结果异步真实请求 Task2 分片2 缓存策略限流、排队 Task1 分片1 Task2 分片2 Task3 分片3 SparkSQL UDF架构——提升请求效率与成功率 MapPartitions 异步http请求

26. 我们要解决的3个问题我们需要更强大的SQL SQL+微服务 UDF快捷注册 UDF异步调度加速 CURD还要开发接口？配置前端靠 Ctrl c+v?

27. 2.5 根据Metadata生成CURD接口 Metadata create 存储 type、host、port、user、password、db 表字段存储类型字段抽象 date string 时间 city string 城市 count int 登陆人数 update read delete mock #各城市登陆统计表查询 POST /curd/1000/read INPUT { date #统计时间 city #城市 count #登陆人数 } OUTPUT { code: 0 #状态码 msg: ’’#返回说明 } 微服务 APIJSON CURD方案选型：APIJSON 腾讯开源零代码接口和文档 ORM 库 1. 文档自动化 2. 接口自动化 3. 多语言支持

28. 2.6.1 规则引擎设计 BPMN2.0协议实时异步双引擎清洗组件微服务代码节点以微服务对外

29. 2.6.2 规则引擎架构图异步接入层同步接入层高/低优先级队列网关任务生产者版本管理任务消费者同步引擎异步引擎组件库在线调试 Pipeline Parser Mock Server 组件注册凭证中心微服务 DB / Cache 日志采集版本管理运维监控

30. 2.6.3 规则引擎基于Mock自动注册组件所有微服务接口自动注册为组件

31. 2.6.4 规则引擎生成最终查询接口 mock 如：时间校验参数校验权限校验 CURD接口调用错误返回 #各城市登陆统计表查询 POST /get_city_login_count INPUT { date #统计时间 city #城市 page #翻页参数 … } OUTPUT { code: 0 #状态码 data: { list: [] page: }#统计列表 }

32. 我们要解决的3个问题我们需要更强大的SQL CURD还要开发接口？ SQL+微服务 APIJSON UDF快捷注册通用CURD接口 UDF异步调度加速规则引擎编排配置前端靠 Ctrl c+v?

33. 2.7.1 UI平台设计 Form Form Form Table Chart 页面逻辑配置 Table Chart Table Chart Mock快捷配置组件库 value、width … http、onclick … 拖拉拽可视化配置 ${ID1} 属性系统事件组件实例 ${ID} 自定义事件 onclick ${ID2} Mock预览 / 实时预览 / 一键部署逻辑配置模型举例 Mock Server http ${ID2} value

34. 2.7.2 微服务接口与UI平台 1、请求地址：url 2、请求方式：method 3、上报参数：param 4、表格输出（字段名、中文名） mock #各城市登陆统计表查询 POST /get_city_login_count INPUT { date #统计时间 city #城市 page #翻页参数 … } OUTPUT { code: 0 #状态码 data: { list: [] page: }#统计列表 } UI可视化 form chart table UI平台一键补齐配置再次提速

35.

36.

37. 我们要解决的3个问题我们需要更强大的SQL CURD还要开发接口？ SQL+微服务 APIJSON UDF快捷注册通用CURD接口 UDF异步调度加速规则引擎编排配置前端靠 Ctrl c+v? Mock一键配置 Mock实时预览

38. 2.8 回顾一下我们的需求需求：统计某业务的全国各城市登陆人数，并提供一个可检索的页面数据平台 SQL完成数据统计 SQL+微服务覆盖数据生产到运营系统逻辑可视化配置可检索接口 UI可视化配置可交互页面配置自动化接口自动化 SELECT udf_ip_2_city(ip) as city, count(distinct(openid)) as user_cnt FROM .. GROUP BY city 产品也能自己搞定规则引擎对CURD[通过metadata自动生成]接口进行编排[可选] UI平台通过Mock一键生成表格

39. • 全生命周期的低码方案简介 • 技术架构介绍 • 落地实践 • 总结展望

40. 客服系统运维安全SOAR “道具/代币补发功能自助开发” “运维风险自动收敛” 光谱：游戏经济系统监控天眼：内部安全监控 3000个任务 1000个接口 200个模板 600个页面数据处理接口逻辑可视化 UI可视化 SELECT * form gateway FROM table chart WHERE condition=... table 数据平台微服务规则引擎 UI平台

41. • 全生命周期的低码方案简介 • 技术架构介绍 • 落地实践 • 总结展望

42. 4.1.1 总结 / 平台间的协作协议流转规则引擎数据平台 SELECT * FROM table 1 WHERE condition=... Metadata 4 2 5 微服务 gateway 3 6 Mock 7 UI平台 form chart table

43. 4.1.2 总结 / 通过 Metadata & Mock 的自动注册，各子系统相辅相成 UI平台 FORM TABLE CHART 自动配置数据平台视图 Metadata select api(xxx) from table UDF Mock 规则引擎自动组件微服务 CUR D 自动注册

44. 4.2.1 展望/低代码平台层出不穷，我们需要规范《腾讯低代码企业标准》架构图

45. 4.2.2 展望/低代码生成运行架构《腾讯低代码企业标准》生产运行架构图

46. 4.2.3 展望/DSL与Schema 《腾讯低代码企业标准》DSL转换Schema示意图

47. 4.2.4 展望/行业统一的DSL 平台A DSL 平台A 平台B 平台B Schema 迁移难，平台绑架产品？产品通用语言，各低码平台相互兼容产品打包带走，更健康的低代码生态产品产品

48.

49.