腾讯云分布式对象存储架构设计与实践

如果无法正常显示,请先停止浏览器的去广告插件。
分享至:
1.
2. 第一部分 市场背景&产品背景 我们预期为企业客户提供怎样的存储
3. 新时代下,存储系统面临的挑战 海量 全球数据量在呈指数级增长 性价比 如何降本增效 如何“花小钱办大事” 业务复杂 上层业务日趋复杂,新兴数据模 型和业务场景百花齐放 挖掘数据价 值 愈发关注数据创造的业务价值 从“为了存而存”到“为了用而存”
4. 腾讯云存储——帮助企业迎接挑战 超大规模存储管理经验 高性价比 丰富的上层生态体系 高可用 提供高于99.95%的服务可用性, 为您的业务保驾护航。 存储可靠性 提供多副本或者纠删码冗余存储,最 高可达12个9的数据持久性。 开放兼容 提供全兼容行业标杆AWS S3的接 口,提供terrafrom等多种生态工 具支持。 数据安全 提供多租户权限隔离,支持HTTPS加 密传输,支持SSE-KMS加密等多种数 据加密方式。 上万家企业的十年之选 腾讯云存储 高性能 提供高达30,000 QPS的请求性能; 保障客户业务在高并发情况下稳定 运行。 低成本 提供具有竞争力的产品定价,支持 数据生命周期管理,进一步降低云 存储成本。
5. 腾讯云存储产品方案概览 解 决 方 案 行 业 互娱文创行业 教育行业 车联网&自动驾驶行业 手机&物联网行业 运营商 医疗行业 场 景 数据处理&分发 数据归档备份 大数据存储 AI训练存储 混合云 企业级线下存储 数 据 接 入 产 品 能 力 抓 手 产 品 硬盘寄送服务 数 据 湖 COSMigration 入湖生态 湖内数据 处理 出湖生态 三级加速 数 据 万 象 离线迁移CDM 图片处理 媒资处理 内容审核 AI数据 处理 系 统 管 理 环 境 支 持 传输加速 传输协议 在线迁移MSP 明 瞳 智 控 跨云流转平台 推流上传 AI数据 分析 云边端 一体化 自主训练 平台 树状namespace存储核心——CHDFS 核 心 底 座 产 品 底 层 技 术 能 力 数据上云 备 份 服 务 IPV6 HTTPS 数据库 备份 主机备份 应用层 备份 统一备份 管控 媒 资 托 管 半托管 QUIC协议 存 储 网 关 全托管 AD/LDAP账号体系打通 NFS网关 SMB网关 块网关 磁带网关 权限组管理 权限规则管理 存储类型 标准存储 低频存储 归档存储 深度归档存储 智能分层存储 挂载点管理 生命周期管理 数据管理 生命周期 跨区域复制 数据清单 事件通知 版本管理 基于腾讯云EMR环境 数据安全 传输层加密 服务端加密 高防存储桶 精细权限管理 接入点管理 基于腾讯黑石、CVM、容器 自建Hadoop 2.x 环境 数据处理 文件压缩/解压 CDN缓存刷新 数据库备份 日志检索分析 批量Batch处理 高性能 存 储 一 体 机 备份 一体机 视频监控 一体机 GPFS 一体机 企业网盘 一体机 融合 存储 一体机 私有存储核心——CSP 平坦namespace存储核心——COS 低成本 全球上传加速 CDN下行加速 协 议 接 口 核 心 能 力 对象接口S3 文件协议 NFS/CIFS 块协议ISCSI/FC 大数据HDFS接口 容器PV/PVC挂载 CDC挂载 多协议数据互通 管控面统一 多地多中心容灾 打通公有云 支持自研服务器 FPGA加速 可扩展性 可靠性&可用性 新硬件及创新技术 EC编码 透明压缩 计算层Cache Data加速 多副本和EC 强一致协议 分布式元数据 复合分区 唐古拉山机型 磁带介质 分层存储 数据去重 树状Meta结构 Offload 多级数据校验 延时GC 线性扩展 数据均衡QOS SSD缓存区 SMR HDD
6. 第二部分 腾讯云存储核心能力说明 我们如何升级企业的系统能力
7. 规范的接口及开发工具 水桶 将水酿成酒 水桶中的水 Object相关接口 接口用途 接口用途 GetBucketLocation 获取Bucket所在的区域 PutObject 简单上传一个文件 Scale 图片缩放 ListBuckets 列举所有bucket PostObject 表单上传文件 width 指定图片宽度 Listobjects 列出bucket内所有object CopyObject 拷贝Object height 指定图片高度 PutBucket 创建Bucket GetObject 获取Object quality 指定图片绝对质量 HeadBucket 查看是否有权访问 GetObjectMeta 获取元信息 format 指定图片格式 DeleteBucket 删除一个Bucket angle 指定图片角度 BucketAcl 设置访问权限 BucketReplication 设置跨区域同步 BucketLogging 设置访问日志 BucketLifecycle FetchObject 接口用途 数据万象处理接口 Bucket相关接口 将object抓取至目标位置 display 指定图片显示方式 删除object limit 指定图片缩放尺寸 DeleteMultipleObjects 删除多个object crop 图片裁剪 设置生命周期 ObjectAcl 设置object权限 offset 指定裁剪坐标 BucketStorageclass 设置存储类型 MultipartUpload接口 大文件三步上传 watermark 指定水印方式 BucketEncryption 设置加密 gravity 指定水印的锚点位置 BucketStaticWebsite 设置静态托管 opacity 指定水印透明度 BucketCors 设置跨域共享 key BucketCopyrightProtection 设置原图保护 stylename AppendObject DeleteObject 追加上传 ocr 支持SDK: 其他开发工具: CLI工具、CMD工具、Util批量操作工具、FS工具、COSN工具、Probe自测工具等 指定水印图片存储路径 设置自定义样式 图片OCR识别 antiporn 色情识别 politician 政治人物识别 terror 暴恐识别 public 公众人物识别 disgust 恶心图识别
8. 高数据可靠性 • 接入层主要用于公共网络接入和负载均衡。 • 应用层用于用户授权、QPS控制、数据中心之间的数据同步和计量计费。 • 逻辑层用于数据索引管理、任务调度等。 • 数据层容灾设计:纠删码冗余存储,各种组合的原始数据块+校验块算法,提供至少12个9的持久性 。 数据接入层 数据接入层 数据接入层 数据访问层 数据访问层 数据访问层 15 3 12 16 7 4 1 AZ1 9 8 2 0 17 5 13 11 AZ2 6 10 AZ3 14
9. 高性能全球加速 网络质量监测 • • 借助腾讯全局网络调度能 力,监测网络质量; 选择最优传输链路,加速 传输速率; 主干网极致传输性能 • 未使用全球加速 利用腾讯国内主干网和 跨境专线,提供超高传 输速率; 提速效果 • • 弱网可用性显著提升,约 2~3个点; 弱网传输速率提升3~5倍; 使用全球加速
10. 业界最完善的存储类型矩阵 腾讯云 AWS 国内某A云 国内某H云 1级存储(标准存储) 可靠性12个9 可用性99.99% 可靠性11个9 可用性99.99% 可靠性12个9 可用性99.9% 可靠性12个9 可用性99.9% 2级存储(低频存储) 可靠性12个9 可用性99.99% 可靠性11个9 可用性99.9% 可靠性12个9 可用性99.5% 可靠性12个9 可用性99.9% 3级存储(归档存储) 可靠性11个9 可用性99.9% 可靠性11个9 可用性99.9% 可靠性11个9 可用性99% 可靠性11个9 可用性99.9% 4级存储(深度归档) 可靠性11个9 可用性99.9% 0.01元/GB/月 可靠性11个9 可用性99.9% 可靠性11个9 可用性99% 可靠性11个9 可用性99.9% 智能分层存储 可靠性11个9 可用性99.9% 数据自动化智能流转 可靠性11个9 可用性99.9% 无 无
11. 特色的存储类型——智能分层存储 Ø 应用场景:未知或变化的访问模式,即不了解业务访问模式、或者它们可能会发生变化。 Ø 两个访问层:频繁访问层,不频繁访问层。将连续30天(可配置)未访问的对象移至不频繁访问层;如果不频繁访问层中的对象被访问,则对象将自动移回频繁访问层。 Ø 系统指标:提供 99.9% 的可用性和 99.999999999% 的持久性,并提供与 S3 标准存储相同的低延迟和高吞吐量性能。 Ø 特色:即使在不断变化的访问模式下,用户也可以节省资金,而且不会影响性能,不会产生运营开销,也不会有检索费用。
12. 特色的存储类型——深度归档存储 Ø 应用场景:适用于访问频率极低(如半年一次),但需要持久存储的数据;如日志审计数据,安防监控数据。 Ø 系统指标:提供 99.9% 的可用性和 99.999999999% (11个9)的持久性。 Ø 特色:存储成本极低(刊例价约为标准存储的10%)。
13. 在线轻应用体系——智能数据触发处理能力 云函数 SCF APP 浏览器 文件上传 文件删除 CDN回源 … 图片存储 视频存储 Fun 日志存储 … 客户端上传/删除图片/视频等文件时,会在 COS产生上传/删除事件,该事件可以流转到 云函数,驱动函数运行具体的业务逻辑。 上传事件 删除事件 消息事件 … Fun … 对象存储 COS … Fun Fun 后端服务 回调通知 日志分析 消息分发 … REST API 数据库 AI …. 在云函数中,可以基于不同的编程语言 在云函数中,可以选择调用 API 接口,或 (Python/Node/PHP/JAVA/GO),撰写自定 者云上的其他服务,如AI图片识别、CDB等, 义业务逻辑,如通知转码,文件解压,日志分 完成回调通知、CDN实时预热/刷新、日志 析等。 分析等。 在云端,可以通过云函数(SCF)和 COS 产品进行联动,搭建轻量级应用,完成自动化业务逻辑处理: p 支持一键配置 COS 事件监听,无需额外设备投入,即可实时消费 COS 事件; p 自定义处理逻辑,支持多中编程语言,支持第三方库; p 毫秒级弹性伸缩,轻松应对负载的波峰波谷,现网实际案例支持10W+级QPS,且像COS一样,支持按实际使用付费; p 提供 99.95% 可用性,针对云函数的运行状态,支持配置多维度的监控告警,实时感知健康状态。
14. • 离线轻应用体系——高效数据运维管理能力 COS Batch APP 浏览器 日志流 音视频流 图片数据 … 图片存储 视频存储 … 用户可以往COS中上传日志等结构化数据,图 片、音视频等数据,并通过COS的清单功能周 期性的生成文件清单列表,记录存储桶内的文 件列表 拷贝 日志存储 文件列表 清单报告 … 处理 … 对象存储 COS … 回热 函数 后端服务 预封装 全托管 高性能 … Copy Restore CI …. 将文件清单导入到COSBatch中后,选择所需执 COS Batch功能预封装了拷贝、回热、图片 行的服务操作,可轻易创建并执行海量文件的 处理等功能接口,用户可通过交互式的操作 批量操作任务。 界面配置任务。 基于COS Batch可以轻易地创建和执行TB乃至PB级的文件批量操作任务,搭建离线轻量级应用,完成自动化业务逻辑处理: p 支持交互式的批量数据拷贝,在不同存储桶间传输数据; p 批量数据回热,支持海量数据一键回热,全托管模式减少人工; p 更多业务功能,如批量图片处理、批量修改权限、批量添加标签,即将上线,敬请期待。
15. 市场认可 可信云服务认证 用户数据安全评估 CSA STAR 信息安全等级保护 大数据产品能力认证 数据持久性、SLA 保障 数据保密性、人员管理合规 国际中立安全组织认证 四级等保备案 多租户管理、扩展性、兼容性 ISO/IEC 20000-1:2005 ISO 9001:5750 ISO/IEC 22301:2012 ISO/IEC 27001:2013 运维、监控、审计 CNAS\ANAB 中美双质量认可 BCM 业务连续管理 信息安全管理体系 KISMS认证 MTCS T3认证 韩国认证,出海保障 新加坡认证,出海保障 数据安全性、私密性 数据安全性、私密性
16. 第三部分 腾讯云存储场景解决方案说明 我们如何理解客户的业务场景
17. 数据安全管理解决方案 丰富的数据管理能力支持,敏感文件可通过加密功能保障数据安全;通过版本控制和跨地域复制实现异地容灾,保障数据持久性;通过生命周期进行数据沉降 和删除,减少数据存储成本。 服务端加密(可选) COS 服务端提供的加密选项 SSE-COS SSE-C 默认服务密钥 客户提供密钥 COS 接入 加密模块 鉴权模块 …… 腾讯云成都 delete marker, versionId: 104 file.img, versionId: 103 file.img, versionId: 101 版本控制(可选) SSE-KMS KMS 提供密钥 腾讯云北京 file.img, current version 该功能将保留对象的历史版本 删除 行为: 特殊 版本 标记 跨区域复制(可选) 将对象同步复制到异地存储桶 上传前加密(可选) 腾讯云 KMS 使用 SDK 在上传前加密数据 密钥生成机制 密钥管理功能 CSE-KMS CSE-C 从 KMS 获取 客户管理密钥 生命周期(可选) 设置文件自动沉降规则以降低成本 IA_file.jpg, 低频存储 设置 30 天后沉降到低频存储 very_old.iso, 归档存储 设置 90 天后沉降到归档存储 file.img, 低频存储 IA_file.jpg, 低频存储 very_old.iso, 低频存储 同时可支持生命周期 降低异地备份成本
18. 云原生高性能数据湖解决方案——方案概览 三级加速 : 大数据 • GooseFS : 计算端 - 缓存加速 • COS加速器: AZ端 • 元数据加速: 存储端 - 元数据加速 - 数据加速 AI Hadoop Compatible 智能缓存 HPC FUSE Compatible 高可用架构 基因 渲染 S3 Compatible Native FS Interface 监控告警 集群化部署 鉴权认证 2~10x COS 加速器 2~10 倍 性能提升 元数据加速 Data Lake 对象存储 COS 日志管理
19. 云原生高性能数据湖解决方案——GooseFS计算侧加速器 Metadata Cache :元数据 Data Cache: • 支持Hive Table Level预热,面向业务加速; 被缓存到计算节点 Metadata Cache中,并通 • 支持Iceberg Table Leve预热; 过RocksDB进行持久化。 • 支持Prefix Level预热,按目录加速; • 支持多种数据缓存淘汰策略, Metadata Cache(RAM / SSD / HDD) LRU/LRFU/TTL; • 支持缓存数据同步/异步写入COS; Data Cache(RAM / SSD / HDD) Metadata Cache: • 避免了大量的list operations; • 提高了Metadata 访问性能; Hive/Iceberg Table 预热: Table相关的数据从COS对 象存储中,被加载到计算节 点Data Cache中。 Tables prefix sub-prefix(Partitions) Files Hive Meta Store COS 对象存储 Prefix 预热:COS对象存储 中对应Prefix的Objects,被 加载到计算节点Data Cache 中。
20. 云原生高性能数据湖解决方案——Data加速器 数据加速提供Tbps级别带宽资源,ms级别时延,加速大数据、AI业务处理速度 主要功能: • AZ Locality • 专有加速域名访问资源; • 缓存数据强一致; • 可以加速Bucket,或者prefix; • 同一个Bucket,支持多个加速器 • 支持存量Bucket,随时 Enable/Disable; • 如果miss cache,从COS回源; AZ 1 AZ 2 EMR | AI | ML |K8S 数据加速 EMR | AI | ML |K8S 数据加速 Prefix_2 Prefix_1 Files Files AZ 3 EMR | AI | ML |K8S 数据加速 Prefix_3 Files
21. 云原生高性能数据湖解决方案——Meta加速器 提供文件系统级别元数据能力,加速 Rename、List等操作,解决大数据、AI业务在对象存储上的元数据QPS瓶颈问题 主要特性: • 文件系统级别元数据操作; • 提供Rename API,Rename无需 Copy / Delete数据,直接在 Metastore完成; • EMR | AI | ML |K8S Hudi |Delta|Iceberg GooseFS (Cache Accelerator) List、Head操作,直接查询Metadate http(s) requests: Rename / List / Head / Get / Put Store,避免对象存储QPS问题; • 性能:10 万 QPS; Limitations: • 支持10 亿级别Objects数量; • Enable 元数据后,不支持部分COS功 COS Gateway Interface Metadata Acceleration Layer Put / Get Rename / List / Head 能特性(详见产品帮助文档); • 需要创建新Bucket,不支持存量 Bucket; • 新Bucket Enable元数据加速后,不支 持Disable; Metadata Store COS 对象存储
22. 混合云存储一体机Tstor方案 虚拟化 数据库 块接口iSCSI/RBD 管理页面 文件共享 备份归档 图片视频存储 文件接口NFS/CIFS/FTP 存储接入层 静态网站托管 对象接口S3/HTTP 大数据 大数据接口HDFS 容器接口CSI 文件、对象、块、大数据等访问接口 集群概览 存储池管理 存储桶管理 对象管理 权限控制 恢复控制 集群巡检 数据容灾 配额管理 请求统计 存储逻辑层 主机管理 用户管理 存储引擎层 集群状态监控 数据一致性管理 数据分布算法 集群故障自愈 硬件设备层 X86/ARM CPU SAS/SATA NVMe SSD 10GE/25GE 日志管理 集群巡检
23. 混合云存储一体机Tstor方案 自研星星海硬件, AMD平台 + 高密 JBOD,成本降低 20%以上 支持多种数据压缩 算法,可实现数据 缩减两倍以上 N . 大比例EC算法, 磁盘利用率提升3 倍以上 6U110盘位 4U60盘位 3副本,磁盘利用率33% ............ EC算法,磁盘利用率可达92%以上 lz4, snappy, zlib, zstd等算法
24. 混合云存储一体机Tstor方案——唐古拉山高密存储方案 方案组成:2U存储机头 + 4U110盘高密磁盘框JBOD 方案架构: 售卖模式:以软硬件一体方式售卖,私有化部署 • 每个存储节点由一个存储机头与一个JBOD磁盘框组成 2U星星海配置: AMD 7K62 48C 2.6G*2/32G*16/M.2 SSD • 存储机头与JBOD磁盘框之间直连 480G*1/NVMe 3.84T*1/HBA*2/OCP3 25G*2P • 存储机头之间通过两台交换机互联 唐古拉硬件参数: • 在存储机头上安装CSP存储软件,对外提供文件接口 高度 4U 满配重量 130KG 尺寸 宽448mm,深990mm,高 175.3mm 平均功耗 1300W 25GE网络 星星海机头 …… 唐古拉JBOD
25.

Accueil - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.1. UTC+08:00, 2024-11-16 11:57
浙ICP备14020137号-1 $Carte des visiteurs$