贝壳hadoop集群演进

1.

2. 贝壳Hadoop集群演进 • 关于贝壳 • Hadoop集群概况 • 集群演进 • 未来规划

3. 关于贝壳贝壳找房二手房是科技驱动的新居住服务平台，我们致力于为3亿家庭提供全面、可靠的品质居住服务。新房租赁装修其他

4. 链家推出签三方约、透明交易、不吃差价我们的发展历程传承使命自我进化链家在线(Homelink) 上线，开始链家数据、技术驱动的互联网尝试加速行业整合，开启全国化布局，成为居住领域领先品牌郑州试点加盟模式建立行业新规则开启互联网化成为行业领导者 2001-2004 2009-2011 2015-2017 从连接到联结，全面提高行业人店效率，撬动服务者价值，推出第一所专为店东职业化而生的学校:花桥学堂推动行业正循环贝壳上市成为中国居住服务平台第一股 2019 2020.8.13 2008 2011-2014 2018 2020 建立楼盘字典安心服务升级打造行业操作系统开启全面数字化开始楼盘字典建设的探索，推动房源信息数据化、标准化率先制定真房源标准、推出五重保障、四大安心服务承诺链家网升级为贝壳找房打造科技驱动的新居住服务平台完成交易线上化闭环链家在线正式更名为链家网推出创新服务VR看房数字化能力升级

5. Hadoop集群概况

6. Hadoop集群概况 ~1700台 ~230台 200P存储 15P存储 12万核 1.5万核 2018年5月 2021年5月

7. Hadoop集群概况 • Hadoop集群服务于业务，业务与企业定位、规模相关 • 链家时代，集群更多用于存储数据，规模预期小 • 贝壳时代，集群更多用于挖掘数据价值，规模预期大

8. 集群演进-存储治理 • 透明压缩 • 1.5 副本 • HDFS分层存储 + ZFS文件系统 • 2017年10月上线 • 版本 2.7.3

9. 集群演进-存储治理 • ZFS是什么？ • OpenSolaris开源计划的一部分，ZFS于2005年11月发布 • 支持压缩

10. 集群演进-存储治理 • 透明压缩的问题 • ZFS不可控 • Datanode节点稳定性下降 • Namenode性能下降

11. 集群演进-存储治理 • Namenode性能下降 • 单台机器下线需要数天 • UnderReplicatedBlocks 缓慢增加 • PendingDeletionBlocks 下降缓慢

12. 集群演进-存储治理

13. 集群演进-存储治理 • 调用栈信息

14. 集群演进-存储治理 • 根因分析 • 存储异构，周期性将历史数据设置为COLD，启动Mover进程归档数据 • Mover更新StorageType远慢于数据置为COLD的动作 • chooseStorageTypes未考虑副本的StorageType与该文件设置存储策略的匹配与否，导致chooseStorageTypes返回副本需求与result表示的已经存在副本存在逻辑上的冲突（ chooseTarget 方法） • 修改chooseStorageTypes代码，将result传入，如果类型与当前已有块不匹配，将该副本从result删除

15. 集群演进-存储治理 • 效果– UderReplicatedBlock快速下降，详情参考 HDFS-15715

16. 集群演进-存储治理 • 搭建 Hadoop 3.2.1集群，启用EC • 高密度存储机型（24 * 12T），进一步控制存储成本 • 依托元数据与生命周期管理，进行存储编排、流转

17. 集群演进-存储治理 • 解决一个问题带来更多问题 • 要优先选用社区、业界主流方案

18. 集群演进-搬迁 • 搬迁的原因与动机 • 机房容量规划有问题，无法扩容 • 现有集群问题解决成本高 • 获得3.2.1 版本红利，EC，全局调度等 • 拆分Namespace

19. 集群演进-搬迁 • 搬迁升级的内容 • 搬迁，从亦庄机房搬迁到通州机房 • 升级，从2.7.3升级到3.2.1 • 拆分，将单ns的对象数控制在4亿以下

20. 集群演进-搬迁 • 普通方案

21. 集群演进-搬迁 • 贝壳方案

22. 集群演进-搬迁 • 贝壳方案-多机房读写策略

23. 集群演进-搬迁普通方案贝壳方案业务感知强弱人力投入多少技术难度易难

24. 集群演进-搬迁 • 历程 • 2019年12月技术方案讨论 • 2020年03月立项启动 • 2020年08月联调测试与准备 • 2020年11月正式启动搬迁 • 2021年04月完成核心数仓搬迁

25. 未来规划 • Hadoop 3.2.1 改进优化 • 在离线混合部署 • 多机房 • Ozone • Hadoop与k8s架构融合

26.