腾讯云数据库云上SaaS生态演进

如果无法正常显示,请先停止浏览器的去广告插件。
分享至:
1. 腾讯云数据库云上SaaS生态演 进 潘怡飞 腾讯云数据库高级工程师
2. • 腾讯云数据库SaaS生态矩阵 • 腾讯云数据传输服务DTS • 数据库智能管家DBbrain • 腾讯云BI云图
3. 云数据库SaaS生态演进 基础能力SaaS化 备份、审计 易用性SaaS化 DMC、云图 智能化运维 DBbrian 模块化SaaS产品 DTS
4. 腾讯云数据库SaaS生态矩阵 数据传输服务 覆盖场景 数据库智能管家 数据库安全审计 腾讯云图 数据迁移与数据流打通 自动化智能化运维管理 数据安全审计 定制化大屏BI展示 在线迁移同步、低时延、高可靠、三模 块 数据库全生命周期管理运维 内核级别、DBbrain 联动、多维度 低门槛、预设模版、多数据源、灵活投 屏
5. • 腾讯云数据库SaaS生态矩阵 • 腾讯云数据传输服务DTS • 数据库智能管家DBbrain • 腾讯云BI云图
6. 数据传输服务 数据迁移 数据迁移功能面向单次的数据库迁移,支持多种 网络链路,全量增量不停机迁移,最小化迁移过 程中停机对业务造成的影响,全程自动化减少风 险点,支持一致性校验能力。 适用场景 一次性迁移数据库迁移 数据库迁移上云或迁移下云场景 数据同步 适用场景 数据传输服务 数据同步功能指两个数据源之间的数据长期实时 同步,具有多种高级特性,库表重映射、 DML/DDL过滤,where 条件过滤,双向同步,丰 富冲突策略 云上云下多活、异地多活 跨境数据同步、实时数据仓库 数据订阅 适用场景 数据订阅是指实时按需获取数据库中关键业务的 数据变化信息,将这些信息包装为消息对象推送 到内置 Kafka 中,方便下游实时消费。 异构数据更新、业务异步解耦 缓存更新,ETL实时同步等
7. 数据传输服务整体架构 平台可视化操作 自定义数据流任务 自动化运维管理 任务运维管控 任务调度 延迟监控 中断告警 任务校验 配置管理 任务编排 执行系统 源端数据库 MySQL MySQL导出插件 Redis Redis导出插件 支持IDC/云上自建/云产品 运维管理 目标数据库 统一中间存储 MySQL导入插件 MySQL Redis导入插件 Redis 与原生同步解耦 ,支持多种数据库插件,可灵活支持过滤/多合一/异构等场景 支持IDC/云上自建/云产品
8. 数据传输服务应用场景 云数据库迁移 双向数据同步 多到一数据同步 异构数据同步 灵活的上云下云场景支持 异地多活、异地灾备 多源数据聚合、汇总分析场景 同源异构同步与非同源异构同步 同时支持下云到自建 支持双向、环形数据同步 数据正确性保障 解决双向、环形同步数据 重复写冲突问题 源库无感知 高性能、低延迟 支持多到一数据汇总 同步 同源异构,例如 MariDB,Percona 支持分表聚合 支持异构数据库同步,例如 MySQL到PG、CK 一拆多、跨云账号
9. 数据订阅整体架构 订阅特性 无固定下游链路,如数据仓库,自定义程序、云函数 等,更灵活的形态 数据订阅服务模拟 slave获取数据库中数据变化即 binlog信息,按需解析将这些信息包装为消息对象推送 到内置Kafka中,然后用户根据业务需求自由获取、消 费数据,来写入到下游不同的异构组件中 自研 schema tracker,无锁、实时获取表结构变 更 更多的数据格式支持,降低切换成本 数据订阅整体架构
10. • 腾讯云数据库SaaS生态矩阵 • 腾讯云数据传输服务DTS • 数据库智能管家DBbrain • 腾讯云BI云图
11. 数据库智能管家(DBbrain) 智能优化 针对获取信息、分析信息、优化手段痛点; 利用完善的云平台监控、智能算法与 case 库沉 淀、针对问题根因形成优化手段; 应用场景 数据库日常运维场景 数据库安全 安全威胁识别场景 深度学习算法、海量样本、功能包括:安全预警、 敏感数据发现、数据脱敏、治理建议等 数据库智能管家DBbrain 混合云管理数据库场景 数据库管理 功能包括:云上云下混合云管理、无侵入安全链 路、掌上运维 掌上数据库运维场景
12. 数据库智能管家(DBbrain)整体架构 核心优势 成熟的监控链路 双链路、秒级监控、审计日志 自动化异常识别 规则化自动提取 多维度故障诊断 异常指标输入,完善规则库、诊断输出 专家知识库积累 内部专家外部案例逐步迭代 智能化性能调优 SQL 优化、智能调参
13. 数据库智能管家(DBbrain)全生命周期管理 监控管理 预防 分析 n 70+监控项 n SQL审核 n 多维度监控 n 执行计划和数据 n 历史故障定位 n 数据库管理 n 监控大屏 n 性能瓶颈分析 告警 快速定位 应急处理 优化 n 可用性状态告警 n 异常诊断树 n 灵活限流 n 一键优化 n 性能基线告警 n 实时分析定位 n 快速升配 n 自动调优 n 一键kill n 专家级建议 审核 n 性能趋势分析 n 自定义告警 n 一键分析 n 健康防护 n 容量预测分析 n 异常件事告警 n 场景分析 n 定期巡检 n 安全威胁分析 n 优化效果对比
14. DBbrain性能优化-慢SQL分析 多维度统计 【慢 SQL 分析】功能 对实例中慢 SQL 的记录和执行信息(来源信 息、次数、执行时间、返回集合、扫描集合 等)进行统计、抽样、聚合。针对聚合后的 SQL 语句、执行计划、综合资源消耗、扫描和 返回集合大小、索引使用合理性等,对慢 SQL 的性能进行分析,并给出优化建议。 n 多维度信息统计 n 来源IP、用户、账号等信息统计 n 耗时区间统计 n SQL 模版聚合 n 自动排序 智能优化 n 遵循编译优化器规则 n 计算代价和成本 n 遵循各类引擎规则 n 索引+重写 相结合 n SQL自身不够优质,相同逻辑重写 n 缺少索引建议添加 API 拉取,目前已支持MySQL、TDSQL-C、Redis、Mongodb、自建MySQL
15. 异常统计 DBbrain性能优化-异常诊断 【异常诊断】功能 异常诊断功能为用户的数据库实例基于实时的 性能监控、健康巡检、来做故障诊断和优化, 既可以直观地感知数据库实例实时的运行状 况,也可以定位实时出现的性能异常,并根据 优化建议进行系统优化。 n 实时监控 n 展示 秒级CPU 利用率、内存使用率、磁 盘使用率、输入/输出流量等十几维度信 息。 n 定期展示实例的请求数汇总和分布和慢 SQL。 n 实时诊断 n 诊断提示展示诊断事件的概要信息,包括 等级、开始时间、诊断项、持续时长。 DBbrain 会定期进行健康巡检。 n 诊断事件详情可查看事件概要、现象描述、 给出智能分析以及专家建议。 异常分析优化
16. • 腾讯云数据库SaaS生态矩阵 • 腾讯云数据传输服务DTS • 数据库智能管家DBbrain • 腾讯云BI云图
17. 腾讯云图 什么是腾讯云图 功能特性 腾讯云图大数据可视化平台:一站式数据可视化展 示平台,让您零门槛打造出专业大屏数据展示 项目管理 利用精心预设的多种行业模板,10分钟就能打造出 专业大屏数据展示,展示数据魅力。画布布局、自 由拖拽、无需编码、全图形化编辑、快速制作,所 见即所得。基于 Web 页面渲染,可灵活投屏多种屏 幕终端。 数据管理 图片管理 画布操作 腾讯云图 数据源管理 新建数据源(CSV 文件、数据库、API)有三种方式 组件管理 预览发布
18. 腾讯云图快速构建 第一步:创建大屏项目 在可视化列表页面,单 击+进入新建页面,选择 创建方式,单击创建并 输入项目名称,即可创 建大屏项目 第二步:放置组件 项目创建后,直接跳转至由 画布、可视化界面编辑器和 所见即所得的项目编辑区域 组成的功能区域页面。 第三步:链接数据源 组件放置完毕后,选中需要添 加数据源的组件,单击右侧数 据页,为组件添加数据源, 第四步:预览发布 数据源链接完成后,单击画布 右上角预览图标,预览完成后 单击发布图标,弹出发布确认 窗口,开启发布状态,即可生 成访问链接
19. 腾讯云图经典案例 疫情监控 腾讯云大盘 智慧校园 智慧城市 教育学生录取 智慧零售
20. 总结展望 SaaS 价值 创造业务价值 DTS& DBbrian 后续演进方向 场景化、复杂拓扑 自治化、AI 智能化
21.

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.139.0. UTC+08:00, 2024-12-23 10:47
浙ICP备14020137号-1 $Map of visitor$