构建轻量级的边缘流处理软件 Kuiper

如果无法正常显示，请先停止浏览器的去广告插件。

8. 典型场景：车联网规则引擎车型多部分车型性能有限车机数据点位多，更新频繁云端协同复杂场景联动，动态更新 EMQ X 集群有状态计算，关注变化不同车型点位不一 SOURCE Sinks SQL规则引擎 CAN BUS总线 MQTT 云边协同通道云边协同管理 UDP Socket server AI算法训练框架 file 实时反控车车身舒适性 C A N 典型规则车辆开动车辆30秒内且窗户未关，关闭窗户此处，开动车辆需要判断车辆启动状态变化及其持续时间动力总成信息娱乐底盘 © 2021 EMQ Technologies Co., Ltd.

11. LF Edge eKuiper 边缘流式分析与计算流式处理规则引擎消息推送 LF Edge 项目由 EMQ 发起并托管在 LF Edge 基金会轻代码使用 SQL 实现数据处理，内置函数快速处理 IoT 数据结构与非结构化数据处理结构化物联网数据分析图片、音频数据，以及 AI/ML 推理算法集成开源社区边缘计算项目集成 EdgeX Foundry 参考规则引擎实现 KubeEdge, OpenYurt 边缘流式处理深度集成 © 2021 EMQ Technologies Co., Ltd.

12. 使用 eKuiper 3步骤在边缘端或通过云边通道运行 CLI /REST API • 创建流 create stream demo '() WITH (FORMAT="JSON", DATASOURCE="$hw/events/device/+/twin/update")' • 创建规则：持续运行的数据处理逻辑 { "sql": "SELECT data->tag1->value AS temperature, data->tag2->value AS humidity FROM demo", "actions": [ { "log": {} }, { "mqtt": { "server": "tcp://broker.emqx.io:1883", "topic": "devices/result", "qos": 1, "clientId": "demo_001" } } ] } • 提交、运行规则 curl -X POST http://$kuiper_server:9081/rules -H 'Content-Type: application/json’ -d '$my_rule' © 2021 EMQ Technologies Co., Ltd.

15. 轻量化如何实现和取舍语法解析和运行时针对编译端自研安装包 < 10MB 核心部分几乎无第三方依赖，保证footprint较小支持 SQL 语法适用于用户场景的子集，例如没有 subquery，可用直观的规则流水线代替实现核心功能占用内存 < 12MB 功能可插拔通过编译参数，控制编译的功能提供不同的docker image, 应对不同的使用环境车机共享总线source情况下，多规则内存占用内存复用数据变换只添加，不复制数据源共享，连接共享 © 2021 EMQ Technologies Co., Ltd.

21. 车机中的实时流计算行车数据数据采集与指令数据处理场景联动 CAN 总线 1、车况（状态、胎压、电量） 2、POI位置信息（轨迹、周边） 3、行车数据（速度、加速度、刹车、 1、指令下发 1、数据归类、清洗 1、数据应用 2、数据采集、筛选 2、数据聚合 2、规则联动怠速等） 4、驾驶员行为 5、其他：空调、座椅加热、娱乐数据 © 2021 EMQ Technologies Co., Ltd.

22. eKuiper 中的查询类型 Join 和 Group By 需要运行在窗口中 … 连续查询窗口式查询数据流输入即触发查询划分无界数据为有界的窗口多为无状态查询每个窗口可以将上下文状态物化为一个或多个类似数据库的表，从而应用SQL 语句 SELECT * FROM demo WHERE temperature > 2 0 SELECT avg(temperature) FROM demo G ROUP BY TumblingWindow(mi, 1) 窗口N id ts … … … … … … tem hum p … … … … … 窗口N+1 … … id ts … … … … … … … tem hum p … … … … © 2021 EMQ Technologies Co., Ltd. … …

24. IO 能力 SOURCE：外部系统输入eKuiper SINK：eKuiper输出到外部系统支持的SOURCE类型支持的SINK类型内置：Mqtt, edgeX, file, http 内置：Mqtt, edgeX, http, log 插件：zmq，random 插件：file, zmq, tdengine, redis , influx … 输入数据验证输出格式化等配置类似数据库建表，配置流格式配置dataTemplate参数，利用go数据模板格式化数据非结构化数据，可不配置列格式其他配置项可配置空值是否输出，是否以数组格式输出等 © 2021 EMQ Technologies Co., Ltd.

25. SQL 分析能力内置支持 • 函数 • 数学: sin, cos, abs, log, mod etc; 共计 25个函数 • 字符串: concat, substring etc; 共计 19个函数 • 汇聚: avg, count, max, min, sum, collect & deduplicate; 共计 7 个函数 • Conversion/ Encoding & decoding / Hashing / JSON processing / 其它; 共计 18个函数 • 二进制处理：resize, thumbnail; 共计 2 个函数 • GeoHash函数，共计10个函数 • 过滤 • WHERE / CASE WHEN • Join (LEFT | RIGHT | FULL | CROSS JOIN ) • Streams: 动态流动数据 • Tables: 静态数据，经常用于关联更多别的数据。如提供用户 id，获取相关的名字 • Window • Tumbling / Hopping / Sliding / Session / Count • Group By & Order By © 2021 EMQ Technologies Co., Ltd.

28. 实时聚合分析使用窗口进行有状态计算 • 计算最近 5s 平均值变化百分比 SELECT (ts - windowStart() < 5000) as firstHalf, AVG(val) as avg FROM demo GROUP BY HoppingWindow(ss, 10, 5), firstHalf ORDER BY firstHalf • SQL 输出样例 [{"firstHalf": false, "avg": 2}, {"firstMin":true, "avg":4.5}] • 数据模板 "{\"percentage\":{{mulf (round (divf (index . 0).avg (index . 1).avg) 2) 100}}}" • 最终输出 {"percentage":"225"} © 2021 EMQ Technologies Co., Ltd.

34. 智慧车机车机显示应用预计算处理 Pre-defined field 云端协同总线数据-> 结构化数据 DBC SOURCE Speed:30 场景联动 SpeedV:5 MQTT 云边协同通道 Sinks SQL规则引擎 CAN BUS总线 EMQ X 集群云边协同管理 UDP Socket server 训练框架 file 反控车车身舒适性 C A N AI算法  模块化动态场景引擎  软实时、高效边缘计算  云边协同、动态持续更新能力  安全加密管理通道动力总成信息娱乐底盘 © 2021 EMQ Technologies Co., Ltd.

35. 车联网场景引擎实现应用架构设计 DBC配置文件 Socket Server TCP/UDP EMQ X 边缘流计算 REST API 云边协同 socket CAN总线 eKuiper 规则引擎车机/Tbox ① 车端通过CAN总线进行车端数据采集，同时通过socket的方式将数据拉流到eKuiper中进行计算 ② 基于车机的DBC配置文件解析socket报文，通过规则引擎实现阈值事件触发能力 ③ eKuiper目标调用CAN总线实现车机响应动作的控制指令下发 eKuiper Manager 云端 ① 车机的场景引擎规则可在云端进行配置管理用户端 ① 通过云端的API能配置，并通过云边协同通道将配置力，APP可以实现下发到边缘端。车主个性化定制参数的能力。 © 2021 EMQ Technologies Co., Ltd.

36. EdgeX Foundry 整合 eKuiper 为 edgeX foundry 的指定规则引擎实现应用场景 EdgeX Foundry是Linux基金会支持的边缘计算开源平台。EdgeX Foundry的定位是通用工业IOT边缘计算通用框架，部署于路由器和交换机等边缘设备上，为各种传感器、设备或其他物联网器件提供即插即用功能并管理它们，进一步收集和分析它们的数据，或者导出至边缘计算应用或云计算中心做进一步处理。业务整合 • 接入EdgeX Foundry 消息总线，进行数据分析和导出 • 作为EdgeX Foundry 规则引擎，支持场景联动，按规则控制设备 © 2021 EMQ Technologies Co., Ltd.

37. KubeEdge + eKuiper 中国移动 – 国家工业互联网大数据中心应用场景企业端工业大数据来自企业生产和经营的多个环节，例如设备数据，控制数据和企业经营康数据。作为企业端工业大数据接入平台，该中心负责企业大数据实时采集，汇聚和上传云端。同时提供实时的数据分析和智能化处理。解决方案 • KubeEdge将原生容器化应用编排功能扩展到边缘节点 • eKuiper 提供了边缘分析如数据清洗的能力 • eKuiper 增强了边缘数据汇聚和上传云端的能力 © 2021 EMQ Technologies Co., Ltd.

38. 总结 eKuiper: 针对边缘端设计的流式计算框架轻量化灵活安装包10MB级别，支持标准ARM和x86架构的小型计算节点；基于SQL的业务规则，支持多流 JOIN 运算，60+ 包含数学、字符处理和编码等各类内置函数支持；5类时间窗口支持；性能：树莓派 3B+，支持 11k/秒 TPS，同时支持数千条规则运行；支持丰富的源和目标易部署和管理成长中提供多种部署方式 LF Edge 孵化项目与主流容器编排工具整合持续更新中作为年轻的开源项目，欢迎大家使用，建议，贡献文档和代码！ © 2021 EMQ Technologies Co., Ltd.