中间件与数据库:Otter

数据同步系统重构实践

在互联网时代,每天都会产生海量的数据,去哪儿网成立至今,积累了海量的用户出行数据,每一次旅行机票记录,酒店记录,门票记录等等,这些数据都存储到数据库中,现在流行的 Mysql 数据库,一般情况下单表容量在 1kw 以下是最佳状态,如果将所有的历史记录都存储到 DB 中,那么每张表的大小将超过 10 亿级,根据不同维度的查询将是一个梦魇,比如通过订单号查询,根据用户加状态查询等等,数据库将不堪重负,慢查询可能导致整个库不可提供服务。常用的解决方案是把这些数据存储到一个备用的数据库或者异构的数据结构中,来提升我们的查询效率。数据同步系统就是做这件事的,将数据从一个数据源导入另外一个数据源,提供同构或者异构、低延迟的的数据的同步,提供高可用的数据同步服务,并且保证数据最终一致性。

MySQL多表关联同步到ES的实践

业务系统查询,涉及多表关联查询,条件维度较大且有模糊匹配需求,索引无法覆盖,导致查询性能较低。

严选交易数据源独立切换实践

本文主要针对严选交易DB如何进行数据源独立以及在数据源切换整体流程的解决方案以及实施迁移的过程中遇到的一些问题解决思路作为经验分享给大家,希望对后续业务团队在进行相关工作开展有所帮助。

看完这篇异地多活的改造,我决定和架构师battle一下

异地多活的概念以及为什么要做异地多活这里就不进行概述了。概念性的很多,像什么同城双活、两地三中心、三地五中心等等概念。如果有对这些容灾架构模式感兴趣的可以阅读下这篇文章进行了解:《浅谈业务级灾备的架构模式》。

浅谈业务级灾备的架构模式

互联网常见的高可用手段。比如服务冗余部署、异步化设计、负载均衡、服务限流降级熔断、架构拆分、服务治理、分布式存储等等,今天主要是一起聊下,多机房部署的灾备架构模式,来确保服务的高可用。

双11实时物流订单最佳实践

随着业务迅猛增长,递四方也在不断演进背后的实时数仓技术来支撑更丰富的仓储物流场景,让物流从“手工化”逐渐转变为“智能化”。

去哪儿网数据同步平台技术演进与实践

去哪儿机票售后为用户提供退票、改签、航班变动、行程服务、疫情政策等服务的业务。为解决复杂查询场景,我们设计了一套将数据从一个数据源聚合导入到另一个数据源,提供同构或者异构、低延时的、最终一致性的数据同步系统。

跨地域场景下,如何解决分布式系统的一致性?

跨地域,即常说的“异地双活”、“异地多活”中的异地概念。在业务发展较快的情况下,我们的服务便需要跨地域部署,以满足各区域就近访问和跨地域容灾等需求,在此过程中,不可避免会涉及到跨地域下的分布式一致性问题。由跨地域所带来的网络延迟问题,以及由于网络延迟而衍生的一系列问题,对于设计和构建一个跨地域分布式一致性系统是极大的挑战,业界有很多针对此问题的解决方案,都希望能解决跨地域场景下的一致性问题。

Canal 组件简介与 vivo 帐号实践

互联网应用随着业务的发展,部分单表数据体量越来越大,应对服务性能与稳定的考虑,有做分库分表、数据迁移的需要,本文介绍了vivo帐号应对以上需求的实践。

携程Elasticsearch数据同步实践

已经有数个业务几十个索引使用了该组件维护索引。

达达双云双活实践

在过去6年业务飞速发展中,达达集团始终秉承“万千好物 即时可得“的初心和愿景,不断迭代升级技术能力,持续提升履约效率和服务体验。为保障业务系统稳定运行,我们在数据源高可用、容量弹性和多活容灾等方面进行了深耕,本文主要分享双云双活的建设实践

  • «
  • 1
  • »

Home - Wiki
Copyright © 2011-2024 iteam. Current version is 2.137.3. UTC+08:00, 2024-11-25 10:08
浙ICP备14020137号-1 $Map of visitor$