腾讯云日志服务通往云原生时代的破局之道

如果无法正常显示，请先停止浏览器的去广告插件。

1. 腾讯云日志服务通往云原生时代的破局之道腾讯云王国梁

3. 自我介绍王国梁 · 腾讯云CLS • • • 腾讯云CLS研发负责人，腾讯 OpenTelemetry Oteam PMC， OpenTelemetry社区贡献者、前开源Kubernetes 社区成员（ kube-scheduler维护者和Reviewer之一）。目前负责腾讯云日志服务平台（CLS）核心系统设计及研发。关注日志、监控、链路追踪等可观测性领域。曾负责美团虚拟化、容器化调度系统和云原生化的技术改造，主导Kubernetes和云原生应用管理在美团的从0到1的大规模落地。

4. 大纲 • • • • 企业视角云原生技术改造和应用现代化的意义传统应用架构案例：腾讯云日志服务老旧系统问题分析云原生化过程遇到的典型挑战和应对策略如何给一架高速运行的“飞机”更换引擎？

5. 腾讯云日志服务介绍

6. 日志服务云原生化的业务背景 • • • • • 规模大且性能要求高：十万亿级日志量/天、百毫秒级写入延迟、百亿条日志秒级检索峰值大且流量突发频繁：高峰GB/秒突发流量写入延迟和稳定性要求高：秒级（99.9% 3s以内）日志可见、写入可靠性要求高功能需求迭代要求高：来自客户需求、产品升级、竞品压力几乎每周都有发布上线，对迭代效率要求高质量问题突出：大小故障频发，技术团队不仅要迭代新功能还要一直救火，团队压力大

7. 企业视角来看云原生技术改造的意义云原生技术的“三个代表” 最先进技术生产力的发展方向企业产品竞争力的发展要求云原生技术（容器、K8S等）代表了最先进技术生产力，技术成熟并采用广泛快速扩张是目前新产品的典型特点，爆款产品都有着突发性，如果不能抓住机会很快会被淘汰基础设施和技术理念的陈旧会导致无法满足如今的业务需求，并最终成为产品发展的障碍产品的研发、测试、运维、交付效率直接决定了产品的迭代周期，研效的提升决定了是否能够在同质化竞争激烈的场景下“快人一步” 企业降本增效的技术保障企业内部独立的资源池、资源buffer导致经常出现严重的“贫富差距”，弹性能力差，不能高效的利用资源，企业运营成本居高不下企业不同产品之间存在较大的技术栈、架构、重复的“轮子”导致研效和研发成本高云原生技术改造，几乎成为企业发展的必然选择

8. 传统应用和现代应用传统应用业务特征技术架构现代应用关注可靠性、稳定性上市速度、快速增长复杂度业务类型独立单一，多部门协调少业务复杂，跨团队、跨部门联合项目多开发模式瀑布式迭代，开发构建周期长 DevOps自动化、流程化、快速迭代，周期短流量压力用户访问可控，逻辑简单，压力小流量突发成为常态，逻辑复杂且压力大基础设施服务器为中心，应用程序和底层操作系统之间依赖关系紧密容器驱动，屏蔽操作系统和硬件，可移植基础设施感知，环境高度统一架构设计紧耦合、单体或中心化架构，本地部署，扩展升级复杂松耦合，无状态、微服务架构，本地+云化部署，组件可以独立迭代，API调用可伸缩性垂直扩展和按峰值需求常备资源水平扩张和按需分配，弹性伸缩部署运维服务部署、升级管理依赖人工操作，启动恢复慢声明式和自动化运维，业务自适应，快速恢复开发语言 C/C++、Shell Java、Go、Python等

9. 传统架构的特点和挑战：腾讯云日志服务老旧系统问题分析功能更复杂规模增长迅速基础设施混乱架构业务流量冲击大资源浪费成本高业务迭代频繁应突发能力差服务治理难性能和稳定性差

10. 基础设施混乱应用实例应用实例实例存活性、负载、进程数等二进制程序二进制程序系统/运维组件系统/运维组件配套运维组件、监控、告警、程序版本等类库、系统配置用户操作系统类库、系统配置宿主操作系统类库版本、默认系统参数内核版本、系统性能/安全虚拟机物理机本地IDC、云上（多云）、硬件配置（CPU/MEM等）、硬件型号

11. 应用的基础设施依赖如何选择？ 1号进程(system/init) 业务进程1 业务进程 1 业务进程 N 1号进程(system/init) 1号进程(system/init) 业务进程2 业务进程1 业务子进程业务进程2 1号进程(system/init) 1号进程(system/init) 业务进程3 服务器：基础设施为物理机、虚拟机 - 2013 业务进程4 富容器：类服务器模式，基础设施为容器 Sidecar：轻量级容器，基础设施为容器 2013 - 2019 2019 – 至今

12. 有状态应用 vs 无状态应用有状态服务应用本身需要保存状态或会话服务A 网关服务 DB 应用不需要存储信息一个请求只能被某个实例处理任何请求可以在任何请求处理应用设计复杂，扩展复杂应用设计简单，扩展容易故障容忍度低，需要迁移或同步数据有状态服务分区无状态服务数据复制服务A 无状态应用 SQL数据库或 NoSQL 数据库故障容忍度高，直接剔除即可 DB 集中存储 DB

13. 适应新基础设施，如何改造应用的配置管理？ • • • • • 为所有配置保留单一可信来源使用自动化的方式来执行配置分发和变更集中化配置管理和版本控制老服务适应新配置兼容不同环境的配置管理和使用

14. 如何平滑完成架构升级？ • • • 金丝雀模式：从小地域、部分客户开始切换，逐步灰度完成全部流量的切换过程：老服务保持不变，新服务切换完成后仍旧保留2周，后续再下线风险：风险极小，出现问题可以随时切回

15. 弹性伸缩——我们为什么需要它？图表标题 9 流量下降资源缩容滞后，资源浪费严重 8 7 周期性流量变化资源按最大预备，资源浪费严重 6 突发流量增长资源扩容不及时，服务故障 5 4 3 2 1 0 类别 1 类别 2 类别 3 类别 4 类别 5 类别 6 资源使用资源需求业务流量

16. 弹性伸缩最佳实践：三步走策略+两个原则应突发降成本快扩容+慢缩容保稳定

17. 为什么需要流量防护和容错？场景： • 疫情期间，某地突发疫情封控/学校改为线上教学/上班改为远程，会议日志量瞬间突增百倍； • 618/双十一大促，电商客户业务量猛增，日志量突10倍以上； • 广东连续大雨，下班高峰，某出行客户打车量剧增； • 下游服务异常引自身服务也异常，且影响时间和范围不可控应用C 应用A 应用D 应用B 应用E 应用F • • • 突增流量导致系统CPU负载过高，无法正常处理请求或导致实例OOM 流量异常导致消息投递过快，消息队列积压请求过多导致缓存失效，数据库连接数增加应用G 应用H 应用I • • • 依赖消息队列异常，消息写入耗时增加或超时慢SQL导致数据库负载高，请求导致进一步雪崩存储系统异常写入耗时增加，吞吐量下降，日志大量堆积

18. D N S 。。。客户端 • • • 本地缓存退避重试异常上报业务接入 • • • 流量调度鉴权准入隔离拉黑全链路流量接入和治理服务与依赖服务内部 • • • • 限流限频计量计费降级兜底弹性伸缩 • • • • 削峰填谷数据迁移回溯恢复故障降级

19. 建设应用可观测性：不是只是监控告警业务埋点性能。。。执行耗时健康状态日志上报崩溃捕获接口调用。。。慢查询缓存访问实例状态使用率访问耗时带宽占用系统日志。。。网络带宽集群状态实例数量 CPU/MEM/NET使用率资源水位系统日志容灾巡检。。。中间件行为事件基实体础设施建设业务可观测性码回返接口势趋流量监控告警数据聚合监控大业盘务全面可观测性统一监控打破数据孤岛全面掌控应用语法错误检测分查询热点析 SQL耗时日志量问访用户行为聚合查询上卷语句下钻特征分析调用链应用调用链功率成接口来源求请用户画像停留时长从代码到用户行为追踪崩溃异常超时失败用户视角指标用户点击页面加载请求耗时智能运维资源实例数据库页面用户智能运维业务分析异常检测告警升级根因分析 MQ 任务弹性伸缩业务运营建设业务大盘、用户视角应用质量和健康情况效能提升告警收敛趋势预测告警升级、收敛、异常检测、根因分析、智能定位赋能数字化效率提升

20. DevOps实践

21. 腾讯云日志服务的云原生化架构实践架构目标：围绕云原生技术（容器、K8S、声明式API、弹性伸缩等），建设符合现代应用和数字化业务的发展需求基于公司一站式的应用部署和管理平台，复用统一资源池、应用生命周期管理以及服务的统一治理和容灾管控、可观测性建设业务统一入口，支持业务高性能、安全可靠的服务和生态扩展研效代码仓库服务总线协议代理 API 路由分发安全管控应用管理 CI/CD 从“需求-开发-测试-发布-运维”的一站式 DevOps平台，支持业务快速敏捷迭代自动化测试微服务应用 tRPC 应用管理 TKEx 容器集群测试集群应用扩容应用编排应用配置升级发布 IDC兼容部署应用停止应用高性能的弹性伸缩容器集群，为应用的生命周期管理提供保障生产集群配置管理删除应用服务发现与注册缓存服务 Redis 提供高性能的读写能力，提升业务应对高并发请求的能力消息队列 MQ 服务异构解耦，削峰填谷，提升业务吞吐能力分布式事务 ZK 提供分布式的协调能力，提升业务的任务管理和事务管理分布式锁 ETCD 提供分布式的锁管理和任务管理能力消息发布 ETCD 提供广播式的消息发布和订阅能力，协调多个上下游业务 3AZ 创建应用启动应用数据库 DB 为应用提供关系型的数据存储能力，应用重要核心数据和业务资产服务治理弹性伸缩应用生命周期管理核心依赖容灾降级可观测任务调度与管理

22. 腾讯云日志服务云原生架构收益图表标题 30 100% 95% 90% 第一阶段：云原生化上量第二阶段：业务改造攻坚 89% 26 85% 80% 70% 第三阶段：弹性伸缩 25 24 79% 27 21 69% 20 20 60% 18 57% 57% 16 50% 14 14 13 12 11 10 31% 49% 14 40% 30% 50% 15 30% 28% 27% 7.3 6.9 6 20% 6.1 6.1 0% 1月 3 5 VM核心数 6 容器核心数 9.7 10 5 3.2 4 10.1 5.2 2.9 1.9 1.2 0.6 4% 2 15 7.1 6.9 2.3 0.1 1% 11.2 10.6 15% 10% 48% 45% 44% 41% 38% 38% 10 49% 52% 7 云原生渗透率 8 利用率业务规模 9 10 0.5 11 12月 0 **数据已脱敏**

23. 腾讯云日志服务云原生架构收益成本优化效率提升运营成本降低人力成本减少核心数减少发布/扩缩容耗时弹性伸缩应突发资源利用率 2千万/年 2HC 10万核/月 90% 0介入 40% 客户价值服务稳定性99.99%以上，适应客户场景PB级突发流量的弹性接入能力作为平台级云服务，自身的云原生化助力客户数字化升级的需求快速迭代和交付 **数据已脱敏**

24. 如何给一架高速运行的“飞机”更新引擎？ • • • • • • • 底线：不能因为升级导致故障预期：希望升级过程业务无感知挑战： 1.业务快速增长，规模季度增长 50%以上 2.需求压力大，大客户和产品需求迭代几乎消耗了80%的人力 3.故障不断，几乎每月都有大小故障发生，复盘都没时间复盘 4.并没有资源（人力、时间）专门来做重构和升级

25. 架构演进的道与术不为优化而优化正确的妥协转变模式技术业务尽快见效 + 风险 + 智慧目标制定技术选型向上管理向下推进人力投入方案设计里程碑短期的业务价值压力勇气 = 成功的转变反对+质疑长期的团队收益

26.