中间件与数据库:TiDB
告别人工搬运!TiDB/MySQL双库同步工具如何为业务提效100%?
测试过程中因配置不一致导致效率低下,常见问题包括订单主体错误、OA审批模板配置复杂、数据同步影响数据库性能等。为解决这些问题,探索了定时同步、自动同步和手动同步三种方案。最终采用自动与手动结合的方式,实现了MySQL和TiDB双库的实时同步,显著提升了工作效率和配置准确性,日均同步数据量达50W-150W,失败率极低。
知乎超大规模TiDB集群管控实践
TiDB 是一款开源的分布式关系型数据库,兼容 MySQL 协议,支持水平扩展,具有强一致性和高可用性。它融合了传统关系型数据库与 NoSQL 的优势,支持大规模数据处理,适合处理高并发、复杂查询和大数据存储的场景,广泛应用于金融、互联网等行业。
雷神Thor—TIDB自动化运维平台
作为国内自主研发的分布式数据库,TIDB拥有了大量的应用场景,同程艺龙基于大规模的部署需求,自行研发了一套运维平台,便捷快速的实现简单运维的需求......
TiDB Adoption at Pinterest
HBase has been a foundational storage system at Pinterest since its inception in 2013, when it was deployed at a massive scale and supported numerous use cases. However, it started to show significant inadequacy to keep up with the evolving business needs due to various reasons mentioned in the previous blog. As a result, two years ago we started searching for a next-generation storage technology that could replace HBase for many years to come and enable business critical use cases to scale beyond the existing storage limitations.
拥抱 Elasticsearch:给 TiDB 插上全文检索的翅膀
知乎的孙晓光老师在TiDB Hackathon 2019中获奖作品TiSearch的介绍。全文检索是搜索引擎的基本能力,但当前TiDB还无法实现全文检索需求。为了解决这个问题,孙晓光团队采用整合Elasticsearch的方式扩展TiDB的全文检索能力。他们在短短一天的Hackathon时间内成功实现了这一功能。这项功能可以帮助用户更准确、快速地搜索到想要的内容。
TiDB x Flink 数据集成实践
知乎使用了开源分布式关系型数据库TiDB,用于替代MySQL解决扩展能力问题。为了解决数据分片导致的数据版本不一致和分区字段连续性问题,在数据集成平台中,知乎基于Flink构建了实时和离线的数据同步及清洗功能。这样,用户可以将不同数据源的数据导入到相同的数据源中进行进一步分析处理。然而,使用flink-jdbc-connector时仍存在数据分区设置不智能和唯一键约束字段不连续的问题。
TiDB在北京顺丰同城科技的实践与应用(一)
本文将重点从运维的角度,分享TiDB在北科的一系列应用实践和遭遇的挑战。
MySQL到TiDB:Hive Metastore横向扩展之路
vivo在大数据元数据服务横向扩展道路上的探索历程。
文盘Rust -- 安全连接 TiDB/Mysql
最近在折腾rust与数据库集成,选了Tidb Cloud Serverless Tier 作为数据源。Tidb 无疑是近五年来最优秀的国产开源分布式数据库,Tidb Cloud Serverless Tier作为pingcap旗下的云产品方便又经济。
TiDB在转转公司的发展历程
转转DBA初建以来就开始投入资源进行平台建设,一步一步实现自动化,希望一切需求都实现工单化、一切操作都实现平台化,本文就来分享一下TiDB实现自动化的历程。从遇到问题开始,到解决问题,以及平台做成什么样,也是对过去的工作做一个总结和梳理。
TiDB数据库在汽车之家的应用与实践
TiDB是PingCAP公司研发的开源分布式关系型数据库,具有兼容MySQL协议,易水平扩展、高可用、强一致、HTAP等特性。目前TiDB已在汽车之家论坛,好友粉丝,智能推荐,财务报表,818台网互动等重要业务上应用。
如何构建企业内的 TiDB 自运维体系
本文基于得物内部的实践情况,会从选型策略、运维手段、运营方式、核心场景实践等几个方向讲述TiDB 在得物实践落地过程。
一文带你了解TiDB
MySQL可以无缝切换到TiDB,但仅限于查询使用,事务支持上两者其实还有着细微的差别,并不建议从业务上直接完全替换。
Online Data Migration from HBase to TiDB with Zero Downtime
At Pinterest, HBase is one of the most critical storage backends, powering many online storage services like Zen (graph database), UMS (wide column datastore), and Ixia (near real time secondary indexing service). The HBase Ecosystem, though having various advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, Hadoop integration, etc. cannot serve the needs of our clients for the next 3–5 years. This is due to high operational cost, excessive complexity, and missing functionalities like secondary indexes, support for transactions, etc.
After evaluating 10+ different storage backends and benchmarking three shortlisted backends with shadow traffic (asynchronously copying production traffic to non production environment) and in-depth performance evaluation, we have decided to use TiDB as the final candidate for Unified Storage Service.
The adoption of Unified Storage Service powered by TiDB is a major challenging project spanning over multiple quarters. It involves data migration from HBase to TiDB, design and implementation of Unified Storage Service, API migration from Ixia/Zen/UMS to Unified Storage Service, and Offline Jobs migration from HBase/Hadoop ecosystem to TiSpark ecosystem while maintaining our availability and latency SLA.
In this blog post, we will first learn the various approaches considered for data migration with their trade offs. We will then do a deep dive on how the data migration was conducted from HBase to TiDB for one of the first use cases having 4 TB table size serving 14k read qps and 400 write qps with zero downtime. Lastly we will learn how the verification was done to achieve 99.999% data consistency and how the data consistency was measured between the two tables.
TiDB 在多点数字化零售场景下的应用
本文介绍在数字化零售场景下,TiDB 在多点的使用情况、核心业务场景支撑、价值分析、及经验总结。
TiDB集群基于Binlog的跨机房高可用实践
总篇120篇 2021年第11篇1. 背景介绍之家要求对核心业务做跨机房部署,当 A 机房整体故障时,业务可以快速切换到 B 机房继续提供服务,提升业务容灾能R