大数据平台日志采集与数据服务建设实践之路

1.

2. 大数据平台日志采集与数据服务建设实践之路陈志辉

3. 网易杭州研究院 l 定位 • 2006年成立，定位于创新业务孵化、基础技术平台研发和前沿技术研究； • 是网易技术的孵化器、人才的培养基地和市场的发动机。 l 规模 • 2000人+，网易集团重点投入且唯一的研究院机构； • 承担12项国家级科技项目，2019年被认定为“国家企业技术中心” l 孵化产品 • C端业务孵化：云音乐、云课堂、Lofter、考拉海购等； • B端业务孵化：数字产业事业部：数字化基础平台软件（ABC、IT等）；智慧企业事业部：企业应用（邮箱、通讯、客服等）；易盾事业部：安全（反垃圾、反欺诈、App加固等）。

4. 陈志辉 • 2018年加入网易，目前任职网易杭州研究院资深开发工程师，主要参与了网易数据中台的日志采集平台与数据服务平台的设计与开发工作。在分布式环境下的大规模数据集成领域积累了丰富的实战经验，对数据服务产品也有一些实践与稳定性建设经验。

5. 01 从数据中台到数据生产力 02 日志采集平台建设 03 数据服务平台建设 04 未来产品规划

6.

7. 数字+ 大会“提出数据生产力” “ 数据中台 ”能提供的是高质量、高效率、低成本的数据，并不能直接解决业务问题，只有通过“数据产品”，数据才能真正发挥业务价值！

8. 如何打造“数据生产力”？数据生产力 = 数据产品 + 数据中台决策数据产品业务系统数据（数据服务）汇聚（数据集成）数据中台

9. 数据生产力工具栈零售农业商品数据化运营农业养户画像快递配送监测课程精准营销供应链智能补货饲料智能配送车队智能调转学生成长评估复杂报表移动端数据门户物流决策引擎教育自助取数标签工厂数据服务数据传输中心数据开发中心数据测试中心任务运维中心指标系统模型设计中心流程协作中心 Hadoop 数据质量中心数据资产中心数据安全中心元数据中心 CDH 集群运维中心数据地图

10. 网易大数据业务商业化发展海亮教育南方日报江苏农信好未来

11.

12. 网易日志采集平台的发展 1.0 基于flume的日志采集方案 2.0 完全自研的日志采集方案 ng 自研+开源结合的日志采集方案

13. 为什么要重构日志采集平台? 运维结论: 日志采集服务长期以来处于极高风险, 架构设计和业务支持方面都有致命缺陷, 几乎到了无法使用的地步, 随时可能发生无法恢复的服务彻底瘫痪。 Datastream2.0存在的问题： 1. 采集agent资源占用高 2. 采集规则下发无确认机制 3. 数据流转服务机器成本高 4. 缺乏全链路监控与报警

14. 多机房日志采集方案背景情况：数据仓库位于杭州机房。所有日志数据最终需要落到数仓中。大部分应用服务器位于杭州机房内，少量位于非杭州机房。机房之间可以架设网络专线，但不能承载大流量。

15. Datastream数据流向

16. 采集规则生效时序图

17. Datastream Agent模块化设计

18. 文件生命周期内的采集策略变化

19. 下游故障时的Back Pressure处理策略基于信用的流量控制（credit-based flow control）是实现上下游流量控制的有效方式，常用于多层链路虚拟回路的流量控制。

20. 全链路实时埋点与多维度监控

21. 支持按任务，机器维度查看实时与历史的采集速率，采集堆积，分流延迟支持按任务，时间维度查看日志数据采集条数，采集大小

22. 支持查看route集群流量与水位变化

23. 重点任务定制监控 Agent健康检查支持查看agent当前采集文件进度与速率，精确到每个文件

24. Datastream-ng 落地效果名称 Datastream2.0 Datastream-ng Agent 多线程定时轮询混合采集策略 Route 尽力接收，未隔离，数据缓存本地基于credit，ack，内存缓冲池数据中转基于DS自建kafka 基于业务kafka 数据分流自研Handler，数据缓存本地 Flink on YARN（single&session） 4月，历史任务数量15000+，实监控没有全链路，实时性差全链路，多维度，实时&历史查询时运行任务数量2000+，日均采用户报警无有使用方式需要运维审批，流程繁琐用户自助采集延迟秒级毫秒级机器成本高低 Datastream-ng截止2021年集日志数据约4000亿条

25.

26. 数据服务产生的背景为什么要做数据服务？ - 业务开发希望使用数据接口方式获取数据，而不是直接读数据表为了解决数据开发在数据交付阶段的痛点！需要了解微服务，高并发等业务开发相关技术需要考虑权限问题，确保数据资源被安全的访问保障服务可用，涉及多种运维问题，扩容，上下线，监控报警等不同数据开发重复建设，资源浪费，效率低下

27. 数据服务的定位易数数据服务本身的定位是一站式自助数据服务平台。用户通过平台即可创建数据服务接口、调用服务、监控服务。平台秉承“配置即服务”的理念：数据开发工程师不再需要手写数据服务，只需要在平台上进行简单配置，平台便可自动生产和上线数据接口，从而提升效率。

28. 数据服务的建设方案数据服务 - 建设

29. 数据服务 – 关键设计 1. 打通数据研发到数据交付链路借助数据血缘关系，智能推荐上游表产出任务，自动配置数据传输任务依赖，打通数据研发至数据交付的链路，简化数据开发与应用开发的工作 2. 高扩展设计，支持多通信协议，支持多IT环境查询模块分层设计，抽象数据交换接口层，支持不同业务场景下的接口通信协议。Driver层组件化设计，支持丰富的数据源。查询服务实例可分别运行在物理机，虚拟机，容器环境中，支持资源隔离

30. 数据服务 – 关键设计 3. 服务稳定性与运维保障 API网关支持权限控制，流量控制，访问控制，日志推送等功能，API调用日志使用ELK存储查询，支持灵活个性化分析需求。当监控服务统计到接口调用异常时，触发报警系统通知API发布者与运维人员。 4. 打造数据服务产品易用性提供SQL脚本（低代码）/向导模式（无代码）创建API，支持函数入参，支持UDF后置处理，支持Mybatis动态SQL，支持在线数据源检测与API 调试，支持API在线升级功能，提供多维度的API调用监控统计等。

31. 数据服务 – 应用效果网易有数数据服务平台已经在集团内的网易云音乐以及外部的零售，交通物流等多领域的数据产品和准在线业务场景进行了落地实践。内部数据产品包括了BI系统，运营系统等，主要输出ADS层数据。在线业务服务适用于用户画像查询等DWD层数据输出场景使用。目前平台支持的数据源达到13个，数据服务API数量达到300+。在线业务活动期间，数据服务API调用量达到4亿次/天，平均响应延迟为毫秒级。

32.

33. 未来产品规划日志采集平台数据服务平台 1. 与内部哨兵系统解耦，支持私有化部署 1. 更丰富的数据源支持 2. 全链路数据压缩 2. 支持异构数据源场景下的数据服务API 3. 与云原生环境深度融合 3. 元原生环境下的功能优化，例如一键发布，自 4. 智能化报警 … 动扩缩容 …

34. 扫码即可关注