tomcat
蓝桥杯
python快速入门
postman
多线程
药物化学
适配器模式
defer
lamda表达式
zabbix
intersect
网络技术
图像阴影消除
开发板
客快物流大数据项目
反射型XSS
数据类型
逆向
jQuery
游寄
tidb
2024/4/11 16:19:34
docker安装国产开源数据库tidb 单机版
docker pull pingcap/tidb 创建目录，然后安装tidb
mkdir -p /data/tidb/data 创建容器
docker run --name tidb -d -v /data/tidb/data:/tmp/tidb --privilegedtrue -p 4000:4000 -p 10080:10080 pingcap/tidb:latest TiDB 简介 | PingCAP 文档中心
KCC@广州与 TiDB 社区联手—广州开源盛宴
10月21日，KCC广州与 TiDB 社区联手，在海珠区保利中悦广场 29 楼召开了一次难忘的开源盛宴。这不仅仅是 KCC广州的又一次线下见面，更代表着与 TiDB 社区及广州技术社区的首次深度合作。 活动的策划与组织由 KCC广州负责人 - 惠世冀、PingCAP 的…
1. TiDB-Operator 备份到 Minio
创建minio s3
初始化minio
minio server $HOME/operator/data --console-address :9090设置region为上海
创建tidb-operator备份CR
1.备份CR配置文件backup-s3.yaml信息
apiVersion: pingcap.com/v1alpha1
kind: Backup
metadata:name: backup2s3-devnamespace: tidb-admi…
TiDB实战篇-TiDB Lightning 导入数据
简介
使用TiDB Lightning 导入数据。
原理
TiKV进入导入模式 它是使用物理导入的模式，将SQL文件直接导入到TiKV中，它是一种初始化的导入，也就是说目标的数据库和表都是不能够存在的（注意事项，在这种方式导入的时候T…
TiDB 企业版全新升级，平凯数据库核心特性全解读
作为 TiDB 企业版的全新升级，平凯数据库一经推出便广受媒体及用户关注。 近日，平凯星辰首席科学家丁岩在“平凯数据库全解读”活动中，首次详细介绍了平凯数据库的核心能力。 本文为丁岩演讲实录全文，为方便阅读，已做部…
AmzTrends x TiDB Serverless：通过云原生改造实现全局成本降低 80%
本文介绍了厦门笛卡尔数据（AmzTrends）在面临数据存储挑战时，选择将其数据分析服务迁移到 TiDB Serverless 的思路和实践。通过全托管的数据库服务，AmzTrends 实现了全局成本降低 80% 的效果，同时也充分展示了 TiDB Ser…
TiDB 企业版全新升级，平凯数据库核心特性全解读
作为 TiDB 企业版的全新升级，平凯数据库一经推出便广受媒体及用户关注。 近日，平凯星辰首席科学家丁岩在“平凯数据库全解读”活动中，首次详细介绍了平凯数据库的核心能力。 本文为丁岩演讲实录全文，为方便阅读，已做部…
通过 Prometheus 编写 TiDB 巡检脚本（脚本已开源，内附链接）
作者丨 caiyfc
来自神州数码钛合金战队
神州数码钛合金战队是一支致力于为企业提供分布式数据库 TiDB 整体解决方案的专业技术团队。团队成员拥有丰富的数据库从业背景，全部拥有 TiDB 高级资格证书，并活跃于 TiDB 开源社区，是官方认证合作伙…
从MySQL到TiDB：兼容性全解析
MySQL 在高并发和大数据量场景下，单个实例的扩展性有限。而 TiDB 作为一款分布式NewSQL数据库，设计之初就支持水平扩展（Scale-Out），通过增加节点来线性提升处理能力和存储容量，能够很好地应对大规模数据和高…
TiDB 在全球头部物流企业计费管理系统的应用实践
本文介绍了某全球头部物流企业采用 TiDB 解决计费管理系统性能瓶颈的实践。原系统采用的云数据库受限于架构而无法水平扩展，导致高并发性能问题。该企业通过选择 TiDB，成功打破了性能瓶颈，实现了无缝水平扩展，降低了开发和运维负担…
技术选型思考：分库分表和分布式DB（TiDB/OceanBase） 的权衡与抉择
在当今数据爆炸的时代，数据库作为存储和管理数据的核心组件，其性能和扩展性成为了企业关注的重点。随着业务的发展和数据量的不断增长，传统的单库单表架构逐渐暴露出性能瓶颈和扩展性限制。为了应对这些挑战，企业常常需要在分库分…
平凯星辰携手教育部教育管理信息中心，助力普惠教育数字化
近日，企业级开源分布式数据库厂商平凯星辰与教育部教育管理信息中心达成合作，TiDB 分布式数据库为全国中小学管理服务平台提供全栈服务。双方将携手深入探索领先的数据库技术在教育行业的新场景与新应用，既夯实教育数字化底座，助力…
TIDB的忘了root用户密码和数据库密码解决办法
方法一： 1、修改配置文件重启tidb，无密码登录修改root密码 找到配置文件 tidb.toml ，在[security] 作用域下增加如下配置： [security] skip-grant-tabletrue 重启tidb： sh run_tidb.sh 2、重启后，就可以无密…
TiDB分布式关系型数据库简介
目录 1.关于TiDB2.TiDB的整体架构3.使用场景4. TiDB VS MySQL5.参考本文主要介绍TiDB架构以及使用场景。
1.关于TiDB
TiDB 是由 PingCAP 公司开源的一款分布式关系型数据库，它支持水平扩展、强一致性和高可用性。TiDB 兼容 MySQL 协议，可以无缝替代 MySQL，特别适合处理大规…
TiDB in 2023， 一次简单的回顾丨PingCAP 唐刘
2023 年已经过去，TiDB 经过了一年的迭代，又往前进步了一点点，我们非常自豪的看到，TiDB 正在不断地帮助我们的客户成功，包括但不限于：
○ 首个云原生、分布式、全栈国产化银行核心业务系统投产上线丨TiDB …
TiDB in 2023， 一次简单的回顾丨PingCAP 唐刘
2023 年已经过去，TiDB 经过了一年的迭代，又往前进步了一点点，我们非常自豪的看到，TiDB 正在不断地帮助我们的客户成功，包括但不限于：
○ 首个云原生、分布式、全栈国产化银行核心业务系统投产上线丨TiDB …
基于 Vercel TiDB Serverless 的 chatbot
作者： shiyuhang0 原文来源： https://tidb.net/blog/7b5fcdc9 # 前言 TiDB Serverless 去年就有和 Vercel 的集成了，同时还有一个 bookstore template 方便大家体验。但个人感觉 bookstore 不够炫酷，借 2023 TiDB hackthon 的…
简单三步完成离线升级TIDB v7.1（服务器无互联网环境）
作者： bert 原文来源： https://tidb.net/blog/e35af409 离线升级使用场景 我们知道，大多数公司的生产服务器的安全策略都不太允许连接互联网。加上TIDB的版本更新迭代非常快，默认适用升级需要连接互联网下载升级包部署。因此在…
【TiDB】TiDB CLuster部署
目录
0 大纲
一 集群部署工具TiUP简介
1 TiUP 简介 2 TiUP使用
3 TiUP使用举例
二 TiDB Cluster安装配置需求
1 生产环境硬件需求
2 操作系统需求 三 TIDB部署 1 软硬件需求以及前置检查编辑 2 安装TiUP 组件
3 集群拓扑文件
4 执行部署命令
（1&…
TiDB 多集群告警监控-中章-融合多集群 Grafana
作者： longzhuquan 原文来源： https://tidb.net/blog/ac730b0f 背景 随着公司XC改造步伐的前进，越来越多的业务选择 TiDB，由于各个业务之间需要物理隔离，避免不了的 TiDB 集群数量越来越多。虽然每套 TiDB 集群均有…
TiDB 7.5.0 LTS 高性能数据批处理方案
过去，TiDB 由于不支持存储过程、大事务的使用也存在一些限制，使得在 TiDB 上进行一些复杂的数据批量处理变得比较复杂。
TiDB 在面向这种超大规模数据的批处理场景，其能力也一直在演进，其复杂度也变得越来越低：
○ 从…
2022 年 4 月中国数据库排行榜：春风拂面春意暖，分数回升四月天
2022 年 4 月墨天轮中国数据库排行如期发布，本月上榜 205 款产品，其中新增产品为 5 款。
推荐阅读墨天轮官方发布的榜单解读文章：《2022年4月中国数据库排行榜：华为GaussDB 挺进前四，榜单前八得分扶摇直上》
第 1 季…
作业帮 x TiDB丨多元化海量数据业务的支撑
导读
作业帮是一家成立于 2015 年的在线教育品牌，致力于用科技手段助力教育普惠。经过近十年的积累，作业帮运用人工智能、大数据等技术，为学生、老师、家长提供学习、教育解决方案，智能硬件产品等。随着公司产品和业务场景越来越…
2023 年中国金融级分布式数据库市场报告：TiDB 位列领导者梯队，创新能力与增长指数表现突出
近日，沙利文联合头豹研究院发布了中国数据库系列报告之《2023 年中国金融级分布式数据库市场报告》。 报告认为，金融行业对于分布式数据库信任度与认可度正在逐步提高，中国金融级分布式数据库市场正处于成熟落地的高增长阶段，行业…
2023 年中国金融级分布式数据库市场报告：TiDB 位列领导者梯队，创新能力与增长指数表现突出
近日，沙利文联合头豹研究院发布了中国数据库系列报告之《2023 年中国金融级分布式数据库市场报告》。 报告认为，金融行业对于分布式数据库信任度与认可度正在逐步提高，中国金融级分布式数据库市场正处于成熟落地的高增长阶段，行业…
TiDB故障处理之让人迷惑的Region is Unavailable
背景 最近某集群扩容了一批物理机，其中 TiKV 节点有6台机器12个实例，同时调整了 label 设置增加了一层机柜级容灾。因为前期做了比较充分的准备工作，到了变更窗口只等着执行scale-out就行，操作过程也很顺利，很快就把所…
TIDB简介及基础架构
1. 什么是TIDB
TiDB 是一个分布式 NewSQL 数据库。它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议，具有数据强一致的高可用特性，是一个不仅适合 OLTP 场景还适合 OLAP 场景的混合数据库。
1.1 什么是NewSQL
SQL，传统关…
TiDB 7.1 多租户在中泰证券中的应用
本文详细介绍了中泰证券在系统国产化改造项目中采用 TiDB 多租户技术的实施过程。文章分析了中泰证券数据库系统现状以及引入 TiDB 资源管控技术的必要性，探讨了 TiDB 多租户的关键特性，并阐述了在实际应用中的具体操作步骤。通过该技术的应用࿰…
TIDB: 元数据查询语句
一、获取表描述
select table_name,table_comment from information_schema.TABLES where table_schema %s and table_name in (%s)二、获取视图DDL
SELECT * FROM information_schema.views WHERE TABLE_NAME %s and TABLE_SCHEMA %s三、判断表是否存在sql
select table…
TiDB 在医疗保障信息平台的应用实践
文章介绍了 TiDB 在医疗保障信息平台中的应用。东软医保云应用管理平台通过与 TiDB 联合，成功满足了医疗保障业务中高并发、实时性和复杂查询的要求。在某地市医疗保障信息平台的实践中，TiDB 分布式数据库有效实现了在线交易和实时分析服务，日…
TiDB 在医疗保障信息平台的应用实践
文章介绍了 TiDB 在医疗保障信息平台中的应用。东软医保云应用管理平台通过与 TiDB 联合，成功满足了医疗保障业务中高并发、实时性和复杂查询的要求。在某地市医疗保障信息平台的实践中，TiDB 分布式数据库有效实现了在线交易和实时分析服务，日…
tidb 配置session级别内存配置
tidb 配置session级别内存配置
jdbc.urljdbc:mysql://xxxx.xx.xx.xx/dbName?sessionVariablestidb_mem_quota_query16073741824
分布式数据库Schema 变更 in F1 TiDB
分布式数据库Schema 变更 in F1 & TiDB
【转载】TiDB 源码阅读系列文章（十七）DDL 源码解析 | PingCAP
上述文章主要叙述了从DDL语句发起到执行的过程，简单介绍了弄一套相同的模式来后台处理数据回填，从而提高DDL的并发度的一…
11.云原生分布式数据库之TIDB
云原生专栏大纲 文章目录 为什么使用TIDB后端视角运维视角基础架构视角 TiDB Operator 简介软件版本要求部署tidbTIDB工具helm常用命令TIDB学习推荐资料 为什么使用TIDB
从后端视角、运维视角和基础架构视角来看，使用 TiDB 作为数据库系统可以获得分布式架构、高可…
理解TiDB集群的P99计算方式
原文来源： https://tidb.net/blog/c38dd8ac 一、背景简介 在学习prometheus时，会遇到一个histogram_quantile()函数，用于对histogram类型的指标进行分位数计算，实际上这个函数就是histogram这个指标类型最常用的函数。 此函数…
作业帮 x TiDB丨多元化海量数据业务的支撑
导读
作业帮是一家成立于 2015 年的在线教育品牌，致力于用科技手段助力教育普惠。经过近十年的积累，作业帮运用人工智能、大数据等技术，为学生、老师、家长提供学习、教育解决方案，智能硬件产品等。随着公司产品和业务场景越来越…
TiDB实战篇-BR进行数据备份与恢复
简介
使用BR进行数据备份与恢复。
原理 Backup备份的时候在PD上面找到表的元数据，然后找到对应的TiKV数据以后，直接备份到外部系统中（注意如果没有像HDFS这样的分布式文件存储，那么它每个TiKV备份到本地的文件就只有一部分数据&…
TiDB Bot：用 Generative AI 构建企业专属的用户助手机器人
本文介绍了 PingCAP 是如何用 Generative AI 构建一个使用企业专属知识库的用户助手机器人。除了使用业界常用的基于知识库的回答方法外，还尝试使用模型在 few shot 方法下判断毒性。 最终，该机器人在用户使用后，点踩的比例低于 5%࿰…
数据库｜TiDB灾备切换实践-部署
刘昊 | 数据库工程师
最近手头有个系统，有需要搭建灾备库的需求（RTO要求4小时内，根据实际情况计算）。考虑到生产系统是5版本，TiCDC存在一些兼容性问题，且TiDB Binlog已经有实践案例及经验可供参考…
TIDB日期和时间类型
TIDB日期和时间类型
一、日期和时间
DATE、DATETIME和TIMESTAMP
1、DATE
DATE 类型的格式为 YYYY-MM-DD，支持的范围是 1000-01-01 到 9999-12-31。
2、TIME 类型
TIME 类型的格式为 HH:MM:SS[.fraction]，支持的范围是 -838:59:59.000000 到 838:59…
我和 TiDB 的故事 | 远近高低各不同
作者： ShawnYan 原文来源： https://tidb.net/blog/b41a02e6 Hi, TiDB, Again! 书接上回， 《我和 TiDB 的故事 | 横看成岭侧成峰》 ，一年时光如白驹过隙，这一年我好似在 TiDB 上投入的时间总量不是很多࿰…
【TiDB】TiDB离线方式部署
目录
1 下载TiDB离线组件包
2 安装TiUP
3 合并离线包
4 TIDB 软件和硬件环境建议配置
5 TiDB环境与系统配置检查
6 生成集群初始化配置文件模板
7 执行部署命令
1 检查就能存在的潜在风险
2 手动修复风险
3 部署 TiDB 集群
8 查看TIUP管理的集群情况
9 检查部署的…
TiDB 在咪咕云原生场景下的实践
导读
咪咕是中国移动旗下的视频科技公司，门户系统是其核心业务之一。 为满足用户的多样化需求，咪咕计划对其数据库进行升级。 经过对中国主流国产数据库的测试评估后，咪咕选择了 TiDB，并成功将其落地于门户系统云化项目。 TiDB 为…
TiDB专题---1、TiDB简介和特性
什么是TiDB TiDB 是一个分布式 NewSQL 数据库，它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议，具有数据强一致的高可用特性，是一个不仅适合 OLTP 场景还适合 OLAP 场景的混合数据库。 TiDB 是 PingCAP 公司自主设计、研发…
TiDB同城双中心监控组件高可用方案
作者： Prest13 原文来源： https://tidb.net/blog/44b9b8b1 背景 在双中心部署tidb dr-auto sync集群，出于监控的高可用考虑，在物理分离的两个数据中心分别部署独立的prometheusalertmanagergrafana，实现任一监控均…
TiDB 一栈式综合交易查询解决方案获“金鼎奖”优秀金融科技解决方案奖
日前，2023“金鼎奖”评选结果揭晓， 平凯星辰（北京）科技有限公司研发的 TiDB 一栈式综合交易查询解决方案获“金鼎奖”优秀金融科技解决方案奖 ， 该方案已成功运用于 多家国有大行、城商行和头部保险企业 。 此次获奖再…
国产数据库TiDB单机部署最佳实践
创建用户
##创建用户
adduser tidb#设置密码
passwd tidb 配置免密码登录 cat >> /etc/sudoers << "EOF"
tidb ALL(ALL) NOPASSWD:ALL
EOF 创建tidb用户ssh key 切换用户
[rootjeames ~]# su - tidb
执行命令，一直按回车键就行
[tidbjeames…
tidb Cloud 连接spring boot 项目
一、 免费试用tidbitcloud
TiDB Cloud Documentation | PingCAP Docs 1.github账号登录
2.创建集群
3.点击对应集群cludter0 导入数据 导入
本地导入只支持csv文件，其他导入需要AWZ账号使用S3云存储 二、连接spingboot项目
选择java，复制下面的jd…
内含资料下载丨黄东旭：2024 现代应用开发关键趋势——降低成本、简化架构
作为一名工程师和创业者，创办 PingCAP 是我进入创新世界的一次深潜。这段旅程既有令人振奋的发现，也充满令人生畏的不确定性。作为这次探险之旅见证的 TiDB ，现在已在全球服务超过 3000 家企业，其中有已经实现了商业成功的大公司&…
内含资料下载丨黄东旭：2024 现代应用开发关键趋势——降低成本、简化架构
作为一名工程师和创业者，创办 PingCAP 是我进入创新世界的一次深潜。这段旅程既有令人振奋的发现，也充满令人生畏的不确定性。作为这次探险之旅见证的 TiDB ，现在已在全球服务超过 3000 家企业，其中有已经实现了商业成功的大公司&…
打造创新的金融数据平台，加速数字化和智能化转型丨PingCAP 官网金融行业专区上线
自诞生以来，TiDB 的原生分布式架构在强一致性、高可用性和可扩展性等方面与金融级业务需求高度契合，早期版本即为包括北京银行在内的金融用户提供服务。
TiDB 的核心能力始终源自与中国金融用户的共同创造。作为金融级分布式数据库，TiDB 在国…
打造创新的金融数据平台，加速数字化和智能化转型丨PingCAP 官网金融行业专区上线
自诞生以来，TiDB 的原生分布式架构在强一致性、高可用性和可扩展性等方面与金融级业务需求高度契合，早期版本即为包括北京银行在内的金融用户提供服务。
TiDB 的核心能力始终源自与中国金融用户的共同创造。作为金融级分布式数据库，TiDB 在国…
【NewSQL】-- 分布式数据库 TiDB 和 CockroachDB
一、基本描述
1、TiDB 国产骄傲。从2015年开始，至今已8年，当前最新版本是7.5.x。TiDB 开源分布式 NewSQL 关系型数据库 是新一代开源分布式 NewSQL 数据库，模型受 Google Spanner / F1 论文的启发，实现了自动的水平伸缩ÿ…
tidb安装 centos7单机集群
安装 [rootlocalhost ~]# curl --proto https --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh [rootlocalhost ~]# source .bash_profile [rootlocalhost ~]# which tiup [rootlocalhost ~]# tiup playground v6.1.0 --db 2 --pd 3 --kv 3 --host 192.168.1…
【TiDB Future App Hackathon 2023 】TiDB 首届全球黑客马拉松，开发者的狂欢夏日盛会！快来一起 Coding 吧！...
作者： Billmay表妹 原文来源： https://tidb.net/blog/cf364859 2023 TiDB Future App Hackathon 来啦！本届 Hackathon 的主题为：Code, Innovate & Build Amazing Data Applications —— 释放你的创造力、构建突破性的应用…
MySQL 分库分表与 TiDB（平凯数据库），如何选择？
随着互联网行业的飞速发展，数据量不断增长，传统的关系型数据库已经无法满足大规模数据处理的需求。为了解决这一问题，分库分表和分布式数据库应运而生。本文将对比分析 MySQL 分库分表和 TiDB 这两种解决方案，帮助大家更好地选择适…
TiDB之分布式数据库TiDB 操作管理规范【附可下载文档】
一、 目的
为了在软件生命周期内规范数据库相关的设计、开发、运维工作，便于不同团队之间的沟通及协调，制定此文档，以期在相关规范上达成共识和默契，提升相关环节的工作效率及系统的可维护性。同时好的规范，在执行的时候可以培养出好的习惯，好的习惯是软件质量的很好保证…
TiDB 7.x 源码编译之 TiDB Server 篇，及新特性详解
本文将介绍如何编译 TiDB Server 源码。以及阐释 TiDB Server 7.x 的部分新特性。
TiDB v7.5.0 LTS 计划于 2023 年 11 月正式 Release，目前代码虽未冻结，但已经可以看到 Alpha 版本的 Code 了，本文代码将以 v7.5.0-alpha 为基准。
TiDB Se…
TiDB 7.x 源码编译之 TiDB Server 篇，及新特性详解
本文将介绍如何编译 TiDB Server 源码。以及阐释 TiDB Server 7.x 的部分新特性。
TiDB v7.5.0 LTS 计划于 2023 年 11 月正式 Release，目前代码虽未冻结，但已经可以看到 Alpha 版本的 Code 了，本文代码将以 v7.5.0-alpha 为基准。
TiDB Se…
TiDB SQL调优案例TiFlash
背景
早上收到某系统的告警tidb节点挂掉无法访问，情况十万火急。登录中控机查了一下display信息，4个TiDB、Prometheus、Grafana全挂了，某台机器hang死无法连接，经过快速重启后集群恢复，经排查后是昨天上线的某个SQL导…
TiDB 7.4 发版：正式兼容 MySQL 8.0
MySQL 是全球最受欢迎的开源数据库，长期位于 DB-Engines Ranking 排行榜第二名，在世界范围内拥有数量庞大的企业用户和开发者。然而，随着时间的推移，MySQL 用户正面临新挑战。Oracle 官宣将在 2023 年 10 月终止 MySQL 5.7 版本的…
tidb节点重启后，服务无法重连
大家好，我是烤鸭： 前几天遇到tidb节点重启后服务无法重连，确切地说是两个服务，一个可以正常重连，一个不行。
问题复现
由于线上执行慢SQL，导致TiDB 单个节点宕机重启。
其中A服务的3个节点和B服务的1个节…
2023 Gartner® 云数据库管理系统魔力象限发布 PingCAP 入选“荣誉提及”
近日，全球 IT 市场研究和咨询 公司 Gartner 发布最新报告《Magic Quadrant™ for Cloud Database Management Systems》（云数据库管理系统魔力象限）， 企业级开源分布式数据库厂商 PingCAP 入选“荣誉提及” 。前不久，P…
2023 Gartner® 云数据库管理系统魔力象限发布 PingCAP 入选“荣誉提及”
近日，全球 IT 市场研究和咨询 公司 Gartner 发布最新报告《Magic Quadrant™ for Cloud Database Management Systems》（云数据库管理系统魔力象限）， 企业级开源分布式数据库厂商 PingCAP 入选“荣誉提及” 。前不久，P…
tidb 集成 flyway 报错 denied to user for table global_variables
报错内容: Caused by: java.sql.SQLException: connection disabled at com.alibaba.druid.pool.DruidPooledConnection.checkStateInternal(DruidPooledConnection.java:1181) at com.alibaba.druid.pool.DruidPooledConnection.checkState(DruidPooledConnection.jav…
TiDB 实战分享丨第三方支付企业的核心数据库升级之路
本文介绍了一家第三方支付企业在面对市场竞争和监管压力的态势下，通过升级核心数据库来提升业务能力的实践。该企业选择 TiDB 分布式数据库，成功将其应用于核心业务、计费、清结算和交易查询等关键系统。TiDB 的水平扩展能力、高可用性和简化数据栈等优势…
006、体系结构之TiKV读取和Coprocessor
TiKV读取和Coprocessor 1、数据的读取1.1、ReadIndex Read1.2、Follower Read 协同处理器(Coprocessor) 1、数据的读取
1.1、ReadIndex Read
例如此时要读取 key 1 的内容，它不能直接去kv中读取，因为它是分布式的，它经过TiDB Server 收到读…
006、体系结构之TiKV读取和Coprocessor
TiKV读取和Coprocessor 1、数据的读取1.1、ReadIndex Read1.2、Follower Read 协同处理器(Coprocessor) 1、数据的读取
1.1、ReadIndex Read
例如此时要读取 key 1 的内容，它不能直接去kv中读取，因为它是分布式的，它经过TiDB Server 收到读…
03-TiDB-单机上模拟部署生产环境集群
1、安装集群cluster组件 tiup cluster
# 已安装的可以更新
# tiup update --self && tiup update cluster 2、修改主机sshd 服务的连接数限制
vim /etc/ssh/sshd_config # MaxSessions 20#重启 sshd 服务：
service sshd restart
3、设置集群配置文件top…
05-TiDB 之 HTAP 快速上手
混合型在线事务与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 功能
HTAP 存储引擎：行存 与列存 同时存在，自动同步，保持强一致性。行存 OLTP ，列存 OLAPHTAP 数据一致性：作为一个分布式事务…
TiDB实战篇-常用的高可用架构
简介
TiDB实战篇-常用的高可用架构。
高可用要考虑的问题 同城三中心 RTO<35秒 RPO0(因为一个数据中心挂点了，还有其他两个可以提供服务)
(优点)数据副本不能在同一个数据中心（raft多数存活）（PD的label标签能够解决这个问题…
TiDB 7.1 LTS 发版：为关键业务提供业务稳定性和多租户场景支持
近日，企业级开源分布式数据库厂商 PingCAP 正式发布 TiDB 7.1 版本，这也是 2023 年度发布的首个 LTS（Long Term Support） 版本，汇集了来自 20 个真实场景带来的功能增强，累计优化和修复 140 功能࿰…
TiDB分布式关系型数据库
TiDB分布式关系型数据库 什么是TiDBTiDB结构TiDB的热点问题 什么是TiDB
TiDB 是一个开源的分布式关系型数据库，由 PingCAP 公司主导开发。它的设计目标是提供水平可扩展的高性能分布式事务数据库，同时保持与 MySQL 协议的兼容性和事务的 ACID࿰…
PingCAP 受邀参加 FICC 2023，获 Open100 世纪全球开源贡献奖
2023 年 12 月，2023 国际测试委员会智能计算与芯片联邦大会（FICC 2023）在海南三亚举办，中外院士和数十位领域专家莅临出席。
大会现场 ，开放源代码促进会创始人 Bruce Perens 颁发了 Open100 世纪全球开源贡献奖&…
PingCAP 受邀参加 FICC 2023，获 Open100 世纪全球开源贡献奖
2023 年 12 月，2023 国际测试委员会智能计算与芯片联邦大会（FICC 2023）在海南三亚举办，中外院士和数十位领域专家莅临出席。
大会现场 ，开放源代码促进会创始人 Bruce Perens 颁发了 Open100 世纪全球开源贡献奖&…
TiDB 组件 GC 原理及常见问题
本文详细介绍了 TiDB 的 Garbage Collection（GC）机制及其在 TiDB 组件中的实现原理和常见问题排查方法。 TiDB 底层使用单机存储引擎 RocksDB，并通过 MVCC 机制，基于 RocksDB 实现了分布式存储引擎 TiKV，以支持高可用分…
【TiDB v7.1.0】资源管控调研及评测
作者： angryart 原文来源： https://tidb.net/blog/ad24240a 多租户是什么 有语云，食在广州，玩在杭州，死在柳州，广东人除了天上飞的飞机不吃，地上走的坦克不吃，其它的什么都吃&am…
002、体系结构之TiDB Server
TiDB Server 1、TiDB总览1.1、TiDB Server架构1.2、TiDB Server 主要功能： 2、SQL语句处理语句的解析和编译SQL层协议层上下文解析层逻辑优化器物理优化器本地执行器分布式执行器 3、如何将表的数据转成kv形式4、在线DDL相关模块5、GC机制与相关模块6、TiDB Server …
华锐技术何志东：证券核心交易系统分布式改造将迎来规模化落地阶段
近年来，数字化转型成为证券业发展的下一战略高地，根据 2021 年证券业协会专项调查结果显示，71% 的券商将数字化转型列为公司战略任务。
在落地数字化转型战略过程中，证券业核心交易系统面临着不少挑战。构建新一代分布式核心交易…
华锐技术何志东：证券核心交易系统分布式改造将迎来规模化落地阶段
近年来，数字化转型成为证券业发展的下一战略高地，根据 2021 年证券业协会专项调查结果显示，71% 的券商将数字化转型列为公司战略任务。
在落地数字化转型战略过程中，证券业核心交易系统面临着不少挑战。构建新一代分布式核心交易…
TiDB基础介绍、应用场景及架构
1. 什么是newsql NewSQL 是对各种新的可扩展/高性能数据库的简称，这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库支持ACID和SQL等特性。 NewSQL是指这样一类新式的关系型数据库管理系统，针对OLTP（读-写&…
Tidb和MySQL性能简单测试对比
一、单SQL性能对比
由于TiDB的并发能力优秀，但是单个SQL执行延迟较差，为了客观对比，所以只用1个线程来压测tidb和mysql，以观察延迟情况
二、并发SQL性能对比
TiDB:v6.5.2 MySQL:8.0.26 （单机） 三、结论 …
Runaway Queries 管理：提升 TiDB 稳定性的智能引擎
在数字化系统扮演重要角色的今天，数据库稳定性成为企业关注的核心问题。对于重要计算机系统而言，突发的性能下降可能对业务造成不可估量的损失。为了稳定数据库性能，用户可以从管理流程入手规范变更的测试，或者利用产品手段减少预…
015、数据库管理之用户和权限
用户和权限 认证与赋权连接过程本地连接远程连接查看用户信息创建用户账号创建角色管理用户账户管理角色设置账号密码忘记root密码实验1-用户和角色实验2-授权注意事项 认证与赋权
认证：对用户进行验证 是权限控制的第一步当用户第一次连接数据库时必须进行认证如果…
TiDB 社区智慧合集丨TiDB 相关 SQL 脚本大全
非常感谢各位 TiDBer 在之前 【TiDBer 唠嗑茶话会 48】非正式 TiDB 相关 SQL 脚本征集大赛！( https://asktug.com/t/topic/996635 )里提供的各种常用脚本。
在这篇文章中，我们整理了社区同学提供的一系列 TiDB 相关 SQL 脚本，希望能为大家在…
Sharding-Sphere vs Mycat vs TiDB
强烈推荐TiDB，这是未来大中型公司的数据库，一定的
NewSQL
优点：
传统数据库面向磁盘设计，基于内存的存储管理及并发控制，NewSQL数据库那般高效利用中间件模式SQL解析、执行计划优化等在中间件与数据库中重复工作&am…
最佳实践：TiDB 业务读变慢分析处理
作者：李文杰 网易游戏计费 TiDB 负责人 在使用或运维管理 TiDB 的过程中，大家几乎都遇到过 SQL 变慢的问题，尤其是查询相关的读变慢问题。读变慢的问题大部分情况下都遵循一定的规律，通过经验的积累可以快速的定位和优化ÿ…
使用Sqoop将Hive数据导出到TiDB
关系型数据库与大数据平台之间的数据传输之前写过一些 使用Sqoop将数据在HDFS与MySQL互导 使用Sqoop将SQL Server视图中数据导入Hive 使用DataX将Hive与MySQL中的表互导 使用Sqoop将Hive数据导出到TiDB虽然没写过，但网上一堆写的，那为什么我要专门写一下…
数据价值在线化丨TiDB 在企查查数据中台的应用及 v7.1 版本升级体验
本文介绍了企查查在数据中台建设中使用 TiDB 的经验和应用。通过从 MySQL 到 TiDB 的迁移，企查查构建了基于 TiDB Flink 的实时数仓框架 ，充分利用了 TiDB 的分布式架构、MySQL 兼容性和完善的周边工具等特性，实现了数据的在线化处理。2023 年…
TiDB 应急运维脚本，更加方便的管理TiDB集群
TiDB 应急运维脚本，更加方便的管理TiDB集群
使用方法
使用方法：[tidblocalhost ~]$ which tiup
~/.tiup/bin/tiup编辑脚本，MYSQL_PASSWD 和 PORT 根据实际替换
[tidblocalhost ~]$ vi ~/.tiup/bin/ti#version 1.1
#author guanguanglei
##…
数据价值在线化丨TiDB 在企查查数据中台的应用及 v7.1 版本升级体验
本文介绍了企查查在数据中台建设中使用 TiDB 的经验和应用。通过从 MySQL 到 TiDB 的迁移，企查查构建了基于 TiDB Flink 的实时数仓框架 ，充分利用了 TiDB 的分布式架构、MySQL 兼容性和完善的周边工具等特性，实现了数据的在线化处理。2023 年…
TiDB 7.1.0 LTS 特性解读丨关于资源管控 (Resource Control) 应该知道的 6 件事
TiDB 7.1.0 LTS 在前段时间发布，相信很多同学都已经抢先使用了起来，甚至都已然经过一系列验证推向了生产环境。面对 TiDB 7.1 若干重要特性，新 GA 的资源管控 (Resource Control) 是必须要充分理解、测试的一个重量级特性。对于常年奋斗在一线…
TiDB 7.1.0 LTS 特性解读丨关于资源管控 (Resource Control) 应该知道的 6 件事
TiDB 7.1.0 LTS 在前段时间发布，相信很多同学都已经抢先使用了起来，甚至都已然经过一系列验证推向了生产环境。面对 TiDB 7.1 若干重要特性，新 GA 的资源管控 (Resource Control) 是必须要充分理解、测试的一个重量级特性。对于常年奋斗在一线…
TiDB | TiDB在5A级物流企业核心系统的应用与实践
TiDB在5A级物流企业核心系统的应用与实践前言一、业务背景科捷物流概况神州金库简介二、现状与挑战神州金库现有技术体系业务挑战应对方案三、TiDB解决方案测试迁移收益问题四、说在最后前言
历经了近半年的测试验证和迁移准备，神州金库3.0核心系统 WMS 正式从 MyS…
TiDB 源码编译之 TiProxy 篇
作者： ShawnYan 原文来源： https://tidb.net/blog/3d57f54d TiProxy 简介 TiProxy 是一个基于 Apache 2.0 协议开源的、轻量级的 TiDB 数据库代理，基于 Go 语言编写，支持 MySQL 协议。 TiProxy 支持负载均衡，接收来…
使用DTS实现TiDB到GaiaDB数据迁移
1 概览 本文主要介绍通过 DTS 数据迁移功能，结合消息服务 for Kafka 与 TiDB 数据库的 Pump、Drainer 组件，完成从TiDB迁移至百度智能云云原生数据库 GaiaDB。 消息服务 for Kafka：详细介绍参见：消息服务 for Kafka 产品介绍百度智…
TiDB存储引擎的初步认识
文章目录 TiDB简介分布式系统CAP 理论一致性可用性分区容错性 应用场景关系型模型事务ACID 特性原子性一致性隔离性持久性 与传统非分布式数据库架构对比TiDB 分布式数据库整体架构 TiDB简介
TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同…
TiDB 源码编译之 TiFlash 篇
作者： ShawnYan 原文来源： https://tidb.net/blog/5f3fe44d 导言 TiFlash 从去年四月一日开源至今已经过去将近一年半，这段时间里 TiFlash 从 v6.0.0-DMR 升级到了 v7.3.0-DMR ，并增加了若干新特性，比如支持 …
2021年3月国产数据库排行榜：OceanBase勇夺亚军 神舟挺进20强！
摘要：伴随着新春佳节的鞭炮声，2021年3月榜单新鲜出炉，榜单再度扩容，产品数量由上月收录的116款增加至118款，Linkoop DB、MemFire加入榜单。 1 新春排行
2021年3月榜单新鲜出炉，同2月相比，本月榜…
畅谈 | 国产数据库长短期发展目标
摘要：2021，国产数据库的躬行实践之年 2019，国产数据库元年开启新纪元 2020，国产数据库崭露峥嵘的发轫之年 2021，国产数据库的躬行实践之年 -盖国强（eygle） 01 新年新气象
大家过年好࿰…
自下而上-存储全栈（TiDB/RockDB/SPDK/fuse/ceph/NVMe/ext4）存储技术专家成长路线
数字化时代的到来带来了大规模数据的产生，各行各业都面临着数据爆炸的挑战。 随着云计算、物联网、人工智能等新兴技术的发展，对存储技术的需求也越来越多样化。不同应用场景对存储的容量、性能、可靠性和成本等方面都有不同的要求。具备存储技术知识和技…
TiDB单机集群模拟生产环境
1、先部署环境，安装5.4.3版本，详细的安装步骤见官方文档：单机集群模拟生产环境安装教程
配置文件topo.yaml
global:user: "tidb"ssh_port: 22deploy_dir: "/tidb-deploy"data_dir: "/tidb-data"monitored:no…
TiDB 升级利器（参数对比）——TiDBA
作者： 啦啦啦啦啦 原文来源： https://tidb.net/blog/299f0bdc 一.背景 针对 LTS 版本，PingCAP 会提供最多至 3 年时间的常规版本更新，以解决版本运行过程中遇到的问题，以及安全相关的漏洞修复。而对于已经结束维护…
TIDB 性能测试(TIUP-TPCC)
New-Order：客户输入一笔新的订货交易； Payment: 更新客户账户余额以反映其支付状况; Delivery: 发货(模拟批处理交易); Order-Status: 查询客户最近交易的状态； Stock-Level: 查询仓库库存状况，以便能够及时补货。…
TiDB 7.5 LTS 发版丨提升规模化场景下关键应用的稳定性和成本的灵活性
作者： TiDB社区小助手 原文来源： https://tidb.net/blog/1cffec89 互联网时代，数据的迅猛增长给数据库带来了可扩展性的挑战，Gen AI 带来的数据暴增更加剧了这种挑战。传统的数据分片已经不能承载新时代数据暴增的需求…
NFTScan x TiDB丨一栈式 HTAP 数据库为 Web3 数据服务提供毫秒级多维查询
导读
NFTScan 是一家多链 NFT 数据基础设施服务商，为 Web3 用户提供高效简洁的 NFT 资产搜索查询服务，为 Web3 开发者和新一代金融科技公司提供专业的 NFT API 数据服务。
TiDB 作为一种分布式 HTAP 数据库，可以同时满足海量数据存储和高并…
数据库｜Pump日志出现错误，你的数据被清空了吗？
一、pump日志错误信息疑问 在pump 排查问题的时候（6.1.5版本），偶然发现一条错误日志： [ERROR] [server.go:635]drainers checkpoint is older than pump gc ts, some binlogs are purged，drainedrainerip:port,gc ts20…
TiDB实战篇-备份恢复策略
简介
简要说明TiDB备份恢复策略。
备份的类型 热备
TiDB使用MVCC机制实现设备的。
冷备 需要停机备份。
温备 备份的时候只能读不能够写。
备份技术
逻辑备份 物理备份 物理备份的限制 基于复制的备份 复制恢复是最快的。（TiDB CDC,TiDB Binlogÿ…
MySQL到TiDB：Hive Metastore横向扩展之路
作者：vivo 互联网大数据团队 - Wang Zhiwen 本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。其次分享了整…
PCTA认证考试-01_TiDB数据库架构概述
TiDB 数据库架构概述
一、学习目标
理解 TiDB 数据库整体结构。了解 TiDB Server，TiKV，TiFlash 和 PD 的主要功能。
二、TiDB 体系架构 1. TiDB Server 2. TiKV OLTP
3. Placement Driver 4. TiFlash OLAP
OLTPOLAPHTAP
TiDB实战篇-TiDB配置
简介
熟系TiDB的配置相关。
TiDB的大体参数
系统配置对应的是TiDB-Server,PD和TiKV和TiDB-Server基本在集群配置里面配置。
系统配置
系统变量 | PingCAP 文档中心
集群配置
PD 配置文件描述 | PingCAP 文档中心
配置的存储位置 系统配置存储在TiKV中的，集…
TiDB进阶篇-TiKV架构
简介
简要的介绍下TiKV的架构。 底层存储RocksDB RocksDB的写操作 在写入WAL的时候为了防止操作系统写入的时候有缓存，要设置操作系统的参数sync_logtrue，也就是说只要有数据就执行刷写到磁盘，就不会存储到操作系统的缓存了。MemTable的数据…
TiDB 数据库架构概述
TiDB 数据库架构概述
TiDB体系架构
水平扩容或者缩容金融级高可用实时HTAP云原生的分布式数据兼容MYSQL5.7
Region：存储单位，96~144MB之间,分布式存储在TiKV中
TiKV：默认三副本，将分布式数据存储，并进行存储副本。…
2023年9月国产数据库大事记-墨天轮
本文为墨天轮社区整理的2023年9月国产数据库大事件和重要产品发布消息。
目录
9月国产数据库大事记 TOP109月国产数据库大事记（时间线）产品/版本发布兼容认证代表厂商大事记排行榜新增数据库厂商活动相关资料
9月国产数据库大事记 TOP10 9月国产数据库…
centos7.5离线安装部署TiDB-6.5.0分布式系统
centos7.5离线安装部署TiDB-6.5.0分布式系统
一、需求，为什么要部署TiDB-6.5.0分布式系统
当前绝大部分企业的业务数据都分散在不同的系统中，没有一个统一的汇总，随着业务的发展，企业的决策层需要了解整个公司的业务状况以便及时…
TiDB亿级数据亚秒响应查询将MySql数据全量迁移到TiDB
目录 1 下载安装TiDB工具包1.1 检查最新版本1.2 下载tidb-toolkit 2 Dumpling导出数据2.1 Dumpling工具简介2.2 导出需要的权限2.3 创建用户并授权2.4 验证数据库2.5 导出sql文件2.6 查看导出文件 3 TiDB Lightning导入数据3.1 TiDB Lightning简介3.2 TiDB Lightning 整体架构3…
10分钟了解TiDB
由于目前的项目把mysql换成了TiDb，所以特意来了解下tidb。其实也不能说换，由于tidb和mysql几乎完全兼容，所以我们的程序没有任何改动就完成了数据库从mysql到TiDb的转换，TiDB 是一个分布式 NewSQL (SQL 、 NoSQL 和 NewSQL 的优缺…
TiDB（8）：技术内幕之计算
1 关系模型到 Key-Value 模型的映射
在这我们将关系模型简单理解为 Table 和 SQL 语句，那么问题变为如何在 KV 结构上保存 Table 以及如何在 KV 结构上运行 SQL 语句。 假设我们有这样一个表的定义：
CREATE TABLE User {ID int,Name varchar(20),Role …
PolarDB-X、OceanBase、CockroachDB、TiDB二级索引写入性能测评
为什么要做这个测试
二级索引是关系型数据库相较于NoSQL数据库的一个关键差异。二级索引必须是强一致的，因此索引的写入需要与主键的写入放在一个事务当中，事务的性能是二级索引性能的基础。
目前市面上的分布式数据库中，从使用体验的角度看…
【TiDB理论知识09】TiFlash
一 TiFlash架构 二 TiFlash 核心特性
TiFlash 主要有
异步复制、一致性、智能选择、计算加速
等几个核心特性。 1 异步复制
TiFlash 中的副本以特殊角色 (Raft Learner) 进行异步的数据复制，这表示当 TiFlash 节点宕机或者网络高延迟等状况发生时，Ti…
020、数据库管理之数据导出工具(Dumpling)
Dumpling dumpling详解dumpling介绍dumpling架构与特点dumpling 适用场景dumpling的部署dumpling 所需权限dumpling 导出SQL文件dumpling 导出csv文件对导出数据进行筛选导出数据的格式导出数据的一致性dumpling 性能优化 实验导出TiDB 数据库中的单张表和单个库导出mysql数据库…
021、数据库管理之数据导入工具(Lightning)
Lightning Lightning原理后端模式对比部署需求获取TiDB Lightning配置Lightning启动运行Lightning退出Lightning断点续传使用表库过滤表库过滤语法使用通配符使用文件导入注释与空行排除规则转义字符引号包裹的标识符正则表达式使用多个过滤规则实验 TiDB Lightning 是TiDB数据…
TiDB-学习笔记05
编写这个笔记，希望能记录下学习TiDB时候的知识点。 目录
参考文章
第五章
1.数据库和字符集 参考文章
目的链接&详细TiDB Books TiDB 6.x in Action | TiDB Books 【6.0版】 Introduction TiDB in Action 【4.0版】 TiDB-学习笔记_tidb 查询_R&Y的博客…
TiDB、MySQL与Oracle的char字段
文章目录 MySQLTiDBOracle结论 我们组在团队内维护了一套TiDB，有时候会有其他同事来请教一些问题，当然遇到比较复杂的问题，我也会直接抛给DBA。今天有个同事来问了一下TiDB的char字段查询是否需要补空格。在我的印象中，TiDB是高度…
TiDB、OceanBase都在谈的HTAP，为何如此燚？
过去一个月里，堪称国产数据库又一高光时刻。
这边厢PingCAP刚刚发布面向企业级核心场景、具备完整 HTAP 能力的分布式数据库TiDB 5.0 版本；那边厢OceanBase也紧跟着推出3.0版本，主攻方向亦是HTAP分布式数据库，在GitHub Oceanbase…
vivo x TiDB丨解决云服务海量数据挑战
vivo 是一家全球性的移动互联网智能终端公司，品牌产品包括智能手机、平板电脑、智能手表等 ，截至 2022 年 8 月，已进驻 60 多个国家和地区，全球用户覆盖 4 亿多人。
vivo 为用户提供了在手机上备份联系人、短信、便签、书签等数据…
TIDB修改日志级别
日志级别
tidb 默认日志级别 为 info,可选项为 [debug, info, warn, error, fatal]，在 tidb-server,tikv-server,tiflash-server,pd-server 四个板块内都可以设置 查看集群名称
使用 tiup 命令 查看集群信息
[rootDB2-001 tidb]# tiup cluster list
tiup is chec…
如何构建企业内的 TiDB 自运维体系
1. 前言
得物 App 从创立之初，关系型数据库一直使用的开源数据库产品 MySQL。和绝大部分互联网公司一样，随着业务高速增长、数据量逐步增多，单实例、单库、单表出现性能瓶颈和存储瓶颈。从选型和架构设计角度来看这很符合发展规律࿰…
FlinkCDC实现主数据与各业务系统数据的一致性（瀚高、TIDB）
文章末尾附有flinkcdc对应瀚高数据库flink-cdc-connector代码下载地址
1、业务需求 目前项目有主数据系统和N个业务系统，为保障“一数一源”，各业务系统表涉及到主数据系统的字段都需用主数据系统表中的字段进行实时覆盖，这里以某个业务系统的一张表举例说明：业务系统表Ta…
黄东旭：“向量数据库”还是“向量搜索插件 + SQL 数据库”？丨我对 2024 年数据库发展趋势的思考
本文由 PingCAP 黄东旭撰写，讨论了数据库技术在 2023 年的快速变革，并对 2024 年的数据库发展趋势进行了预测。文章重点关注了 GenAI 时代对数据库的影响，提出了在数据库选择上的两种路径：“向量数据库”和“向量搜索插件 SQL 数…
TiDB（4）：TiDB-SQL操作
1 创建、查看和删除数据库
（1）要创建一个名为 samp_db 的数据库，可使用以下语句：
CREATE DATABASE IF NOT EXISTS samp_db; （2）使用 SHOW DATABASES 语句查看数据库：
SHOW DATABASES; &#…
TiDB 多租户方案和原理
作者： li_zhenhuan 原文来源： https://tidb.net/blog/a55c1d14 使用多租户 有很多文章介绍技术上如何使用多租户，在这里简单说明： CREATE RESOURCE GROUP rg_oltp RU_PER_SEC4000; ALTER USER app1 RESOURCE GROUP "r…
2023年10月国产数据库大事记-墨天轮
本文为墨天轮社区整理的2023年10月国产数据库大事件和重要产品发布消息。
目录
10月国产数据库大事记 TOP1010月国产数据库大事记（时间线）产品/版本发布兼容认证代表厂商大事记厂商活动排行榜新增数据库相关资料
10月国产数据库大事记 TOP10 10月国产…
分布式数据库TiDB介绍及基本原理
1.概述：
1.1 标准SQL、noSQL、newSQL的区别：
SQL(Structured Query Language)：数据库，指传统的关系型数据库。缺点是面对大量的数据时，他的性能会随着数据库的增大而急剧下降。主要代表：SQL Server、Orac…
【TIDB】TIDB数据类型详解
TIDB的数据类型 文章目录TIDB的数据类型1 数值类型2 日期和时间类型3 字符串类型3 SET 类型4 JSON类型1 数值类型
1 整数类型 2 浮点类型 3 定点类型 decamal(20,6)
2 日期和时间类型 3 字符串类型
1 CHAR 类型 定长字符串。CHAR 列的长度固定为创建表时声明的长度。当保存…
基于Flink CDC实时同步PostgreSQL与Tidb【Flink SQL Client模式下亲测可行，详细教程】
文章目录 一、PostgreSQL作为数据来源（source），由flink读取1.postgre安装与配置2.flink安装与配置3.flink cdc postgre配置3.1 postgre配置（for flink cdc）3.2 flink cdc postgres的jar包下载 4.flink cdc postgre测试…
TiDB专题---3、TiDB与MySQL兼容性对比
TiDB与MySQL兼容性对比
TiDB支持MySQL传输协议及其绝大多数的语法。这意味着您现有的MySQL连接器和客户端都可以继续使用。大多数情况下您现有的应用都可以迁移至 TiDB，无需任何代码修改。当前TiDB服务器官方支持的版本为MySQL5.7。大部分MySQL运维工具（…
TiDB部署及常用命令
TiDB是一个分布式数据库系统，具有高可用性、可扩展性和兼容性等特点。下面是一个TiDB的部署方案及常用命令50条。
一、TiDB部署方案 安装TiUP：TiUP是一个TiDB生态系统的集成管理工具，你可以使用它来安装和管理各种TiDB组件。 curl --proto h…
TiDB MVCC 版本堆积相关原理及排查手段
导读
本文介绍了 TiDB 中 MVCC（多版本并发控制）机制的原理和相关排查手段。 TiDB 使用 MVCC 机制实现事务，在写入新数据时不会直接替换旧数据，而是保留旧数据的同时以时间戳区分版本。 当历史版本堆积过多时，会导致读…
从 20 多套 MySQL 到 1 套 TiDB丨骏伯网络综合运营管理平台应用实践
原文来源： https://tidb.net/blog/a38c72a4 本文作者：骏伯网络 唐帆，PingCAP 贺美存 骏伯网络简介 广州骏伯网络是一家以数据驱动的科技公司，聚焦移动互联网营销服务，坚持以客户为中心，深耕 APP、运营…
TiDB在科捷物流神州金库核心系统的应用与实践
业务背景
北京科捷物流有限公司于2003年在北京正式成立，是ISO质量管理体系认证企业、国家AAAAA级物流企业、海关AEO高级认证企业，注册资金1亿元，是中国领先的大数据科技公司——神州控股的全资子公司。科捷物流融合B2B和B2C的客户需求&#…
关于达梦认证DCA DCP，TIDB认证PCTA PCTP考试那点事儿
文章最后有彩蛋，一定要看到最后...
一、正确的道路上遇到正确的你 伴随中国数据库领域的快速技术进步，国内数据库生态蓬勃发展，并不断涌现出极具创新力的产品，推动了数据库应用的遍地开花。截至2024年1月，墨天轮数据社…
AI 时代的向量数据库、关系型数据库与 Serverless 技术丨TiDB Hackathon 2023 随想
TiDB Hackathon 2023 刚刚结束，我仔细地审阅了所有的项目。 在并未强调项目必须使用人工智能（AI）相关技术的情况下，引人注目的项目几乎一致地都使用了 AI 来构建自己的应用。 大规模语言模型（LLM）的问世使得…
[tidb] tiup升级tidb的版本到 v7.1.1
备份
为了避免数据丢失，升级前需要备份当前tidb集群的数据，参考 TiDB 备份与恢复概述 | PingCAP 文档中心
说明
由于新版本的tidb的tiflash需要cpui支持avx2，所有升级前先验证当前升级的服务器是否支持avx2。升级的文档可以参考 使用 TiUP…
TiDB 慢查询日志分析
导读
TiDB 中的慢查询日志是一项 关键的性能监控工具，其主要作用在于协助数据库管理员追踪执行时间较长的 SQL 查询语句。 通过记录那些超过设定阈值的查询，慢查询日志为性能优化提供了关键的线索，有助于发现潜在的性能瓶颈，优化…
金融企业区域集中库的设计构想和测试验证
导读
本文探讨了金融企业区域集中库的设计构想和测试验证，包括架构设想、数据库整合场景测试及优势和使用设想。作者提出利用 TiDB 数据库产品集中建设区域集中库，解决 MySQL 存量节点的整合问题，实现部署的标准化、按需扩展和统一运维管理。…
数据库性能优化入门：数据库分片初探
数据库分片是一种用于提升数据库性能的架构模式，选择正确的分片策略和实施方式对于提高数据库性能和应对大规模数据挑战至关重要。
本文介绍了数据库分片的定义、原理和实施方法。文章解释了数据库分片是如何通过将数据切分、分散存储在多个服务器上来提升性能&…
TiDB-PCTA考试复习
目录 前言
课堂测试汇总
Lesson 01 TiDB 数据库架构概述
Lesson 02 TiDB Server
Lesson 03 TiKV
Lesson 04 Placement Driver
Lesson 05 TiDB 数据库 SQL 执行流程
Lesson 06 TiDB 数据库 HTAP 概述
Lesson 07 TiFlash
Lesson 08 TiDB 6.0 新特性
Lesson 09 TiDB Cl…
AI 时代的向量数据库、关系型数据库与 Serverless 技术丨TiDB Hackathon 2023 随想
TiDB Hackathon 2023 刚刚结束，我仔细地审阅了所有的项目。 在并未强调项目必须使用人工智能（AI）相关技术的情况下，引人注目的项目几乎一致地都使用了 AI 来构建自己的应用。 大规模语言模型（LLM）的问世使得…
02-TiDB部署本地测试集群
基于v7.5版本
1、下载并安装 TiUP curl --proto https --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh 下载后路径/root/.tiup，已自动将环境变量写入文件中，需要手动执行source source /root/.bashrc 2、在当前 session 执行以下命令…
中欧财富：分布式数据库的应用历程和 TiDB 7.1 新特性探索
作者：张政俊 中欧财富数据库负责人 中欧财富是中欧基金控股的销售子公司，旗下 APP 实现业内基金品种全覆盖，提供基金交易、大数据选基、智慧定投、理财师咨询等投资工具及服务。中欧财富致力为投资者及合作伙伴提供一站式互联网财富管理解决方…
TiDB x Bolt丨超强可扩展性与弹性助力超 1 亿用户畅享出行服务
作者：PingCAP 封小明
通过 TiDB 连接全球极限场景和创新场景，是 PingCAP 长期坚持的国际化战略。目前，在全球已有超过 3000 家企业选择 TiDB。无论在游戏、金融、物流、互联网还是智能制造等行业，基于规模化 OLTP 扩容、实时 HTA…
中欧财富：分布式数据库的应用历程和 TiDB 7.1 新特性探索
作者：张政俊 中欧财富数据库负责人 中欧财富是中欧基金控股的销售子公司，旗下 APP 实现业内基金品种全覆盖，提供基金交易、大数据选基、智慧定投、理财师咨询等投资工具及服务。中欧财富致力为投资者及合作伙伴提供一站式互联网财富管理解决方…
TiDB亿级数据亚秒响应查询方案介绍
目录 1 什么是TiDB2 什么是NewSQL2.1 传统SQL的问题2.1.1 升级服务器硬件2.1.2 数据分片 2.2 NoSQL 的问题2.2.1 优点2.2.2 缺点 2.3 NewSQL 特性2.3.1 NewSQL 的主要特性：2.4 三种SQL的对比 3 TiDB怎么来的3.1 TiDB社区版和企业版 4 TIDB核心特性4.1 水平弹性扩展4…
TiDB-亿级订单数据亚秒响应查询方案
TiDB-亿级订单数据亚秒响应查询方案 TiDB宣传片 1. 什么是TiDB TiDB 是一个分布式 NewSQL 数据库，它支持水平弹性扩展、ACID 事务、标准 SQL、MySQL 语法和 MySQL 协议，具有数据强一致的高可用特性，是一个不仅适合 OLTP 场景还适合 OLAP 场景…
TiDB（6）：数据迁移-TiDB Lightning
1 TiDB Lightning介绍
TiDB Lightning 是一个将全量数据高速导入到 TiDB 集群的工具，目前支持 Mydumper 或 CSV 输出格式的数据源。你可以在以下两种场景下使用 Lightning：
迅速导入大量新数据。
备份恢复所有数据。
TiDB Lightning 主要包含两个部分…
TiDB 7.1资源管控和Oceanbase 4.0多租户使用对比
作者： seiang 原文来源： https://tidb.net/blog/a33d3498 一、背景 TiDB和Oceanbase都是非常优秀的国产分布式数据库；公司从2021年第一套生产业务的TiDB集群落地，随着第一套TiDB生产集群的落地，主要面向不同的业务…
TiDB（1）：TiDB简介
1 从MySQL到TiDB 1.1 场景引入
假设现在有一个高速发展的互联网公司,核心业务库MySQL的数据量已经近亿行,且还在不断增长中,公司对于数据资产较为重视,所有数据要求多副本保存至少5年,且除了有对历史数据进行统计分析的离线报表业务外,还有一些针对用户数据实时查询的需求,如用…
【TIDB】TiDB认证考试PTCA 练习题 题库
1.下列功能是由 TiKV 或 TiFlash 实现的为？（ 选 2 项 ）
A. 根据集群中 Region 的信息，发出调度指令
B. 对于 OLAP 和 OLTP 进行业务隔离
C. 将关系型数据转化为 KV 存储进行持久化
D. 将 KV 存储转化为关系型数据返回给客户端…
漱玉平民大药房：多元化药店变革的前夜
作者 | 王聪彬 编辑 | 舞春秋 来源 | 至顶网 本文介绍了漱玉平民大药房在药品零售领域的数字化转型和发展历程。通过技术创新， 漱玉平民 建设了覆盖医药全生命周期的大健康生态圈，采用混合云架构和国产分布式数据库 TiDB，应对庞大的会员数据处…
漱玉平民大药房：多元化药店变革的前夜
作者 | 王聪彬 编辑 | 舞春秋 来源 | 至顶网 本文介绍了漱玉平民大药房在药品零售领域的数字化转型和发展历程。通过技术创新， 漱玉平民 建设了覆盖医药全生命周期的大健康生态圈，采用混合云架构和国产分布式数据库 TiDB，应对庞大的会员数据处…
017、数据库管理之监控
监控工具 TiDB数据库的监控体系TiDB Dashboard数据库监控系统数据流转监控系统访问地址 报警系统报警级别指标系统常用监控指标Service Port Status 常用监控指标PD的常用监控指标TiDB-Server的常用监控指标TiKV 的常用监控指标Dashboard的常用指标 实验： 通过监控工…
TiDB Serverless Branching：通过数据库分支简化应用开发流程
2023 年 7 月 10 日，TiDB Serverless 正式商用。这是一个完全托管的数据库服务平台（DBaaS），提供灵活的集群配置和基于用量的付费模式。紧随其后，TiDB Serverless Branching 的测试版也发布了。
TiDB Serverless Branc…
018、数据库管理之TiDB升级
升级 使用TiUP进行补丁升级(HotFix)版本升级流程升级准备-更新TiUP升级准备- 编辑TiUP Cluster升级准备- 集群监控状态检查升级TiDB 集群验证TiDB集群升级结果升级常见问题 使用TiUP进行补丁升级(HotFix)
-R ： 所有 -N : 指定的节点
升级集群上的所有TiDB实例&…
TiDB Serverless Branching：通过数据库分支简化应用开发流程
2023 年 7 月 10 日，TiDB Serverless 正式商用。这是一个完全托管的数据库服务平台（DBaaS），提供灵活的集群配置和基于用量的付费模式。紧随其后，TiDB Serverless Branching 的测试版也发布了。
TiDB Serverless Branc…
TiDB x 安能物流丨打造一栈式物流数据平台
作者：李家林 安能物流数据库团队负责人
本文以安能物流作为案例，探讨了在数字化转型中，企业如何利用 TiDB 分布式数据库来应对复杂的业务需求和挑战。
安能物流作为中国领先的综合型物流集团，需要应对大规模的业务流程ÿ…
tidb流式读取配置
程序中执行会话变量(显示数据速度)：--后是tidb默认值。
配合流式读取，作如下读取速度限制，
限制fullscan&index速度：
以下是在java中的示例，com.adata.common.tidb.read.是java包类名：
com.adata.c…
PingCAP 唐刘：一个咨询顾问对 TiDB Chat2Query Demo 提出的脑洞
导读
近日，TiDB Cloud 发布了 Chat2Query 功能，在 TiDB Cloud 上通过自然语言提问，即可生成相应的 SQL，通过 TiDB Cloud 对上传的任意数据集进行分析。Gartner 也在一份有关 ChatGPT 对数据分析影响研究的报告中提及了 PingCAP 的…
TiDB x 安能物流丨打造一栈式物流数据平台
作者：李家林 安能物流数据库团队负责人
本文以安能物流作为案例，探讨了在数字化转型中，企业如何利用 TiDB 分布式数据库来应对复杂的业务需求和挑战。
安能物流作为中国领先的综合型物流集团，需要应对大规模的业务流程ÿ…
平凯星辰 TiDB 获评 “2023 中国金融科技守正创新扬帆计划” 十佳优秀实践奖
11 月 10 日，2023 金融街论坛年会同期举办了“第五届成方金融科技论坛——金融科技守正创新论坛”，北京金融产业联盟发布了“扬帆计划——分布式数据库金融应用研究与实践优秀成果”， 平凯星辰提报的实践报告——“国产 HTAP 数据库在金融规模…
平凯星辰 TiDB 获评 “2023 中国金融科技守正创新扬帆计划” 十佳优秀实践奖
11 月 10 日，2023 金融街论坛年会同期举办了“第五届成方金融科技论坛——金融科技守正创新论坛”，北京金融产业联盟发布了“扬帆计划——分布式数据库金融应用研究与实践优秀成果”， 平凯星辰提报的实践报告——“国产 HTAP 数据库在金融规模…
2021 年 8 月国产数据库排行榜：秋日胜春朝
墨天轮 2021 年 8 月国产数据库排行榜于 8 月 1 日更新，概况如下：
TiDB 稳居第一，得分再创新高；达梦挺进三甲，打破“T-O-P”阵容；Kingbase 得分稳定上涨，重返榜单前十；本月排行榜单…
何隆昌 docker部署TiDB
docker部署TiDB
https://docs.pingcap.com/zh/tidb/stable/quick-start-with-tidb#%E5%9C%A8%E5%8D%95%E6%9C%BA%E4%B8%8A%E6%A8%A1%E6%8B%9F%E9%83%A8%E7%BD%B2%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E9%9B%86%E7%BE%A4
1、下载并安装 TiUP。
curl --proto https --tlsv1.2…
平凯数据库亮相 2023 信息技术应用创新论坛
11 月 25 日，2023 信息技术应用创新论坛在常州开幕。江苏省工业和信息化厅副厅长池宇、中国电子工业标准化技术协会理事长胡燕、常州市常务副市长李林等领导出席论坛并致辞。中国工程院院士郑纬民出席并作主题报告。来自产学研用金等各界的千余名代表参加本次论坛。…
平凯数据库亮相 2023 信息技术应用创新论坛
11 月 25 日，2023 信息技术应用创新论坛在常州开幕。江苏省工业和信息化厅副厅长池宇、中国电子工业标准化技术协会理事长胡燕、常州市常务副市长李林等领导出席论坛并致辞。中国工程院院士郑纬民出席并作主题报告。来自产学研用金等各界的千余名代表参加本次论坛。…
013、数据库管理之连接管理
连接管理 TiDB的连接特性连接TiDB 数据库开发接口支持 实验案例 TiDB的连接特性
无状态MySQL协议支持 100% 兼容MySQL 5.7协议支持MySQL 5.7常用功能与语法 MySQL 语法支持的限制（不支持的功能特性） 存储过程触发器外键函数其它
连接TiDB 数据库
使…
基于 TiDB + Flink 实现的滑动窗口实时累计指标算法
作者：李文杰
前言
在不少的支付分析场景里，大部分累计值指标可以通过 Tn 的方式计算得到 。随着行业大环境由增量市场转为存量市场，产品的运营要求更加精细化、更快速反应，这对各项数据指标的实时性要求已经越来越高。产品如果能…
022、数据库管理之数据迁移工具(DM)
DM Data Migration架构与原理适用场景下载安装组件编辑初始化配置文件执行部署命令查看DM集群检查DM集群情况启动集群 DM配置概览上游数据库(数据源)配置任务配置过滤配置分库分表合并迁移性能优化常见问题 dmctl检查与启动任务暂停任务恢复任务查询任务停止任务 实验部署DM集群…
TiKV 新架构：Partitioned Raft KV 原理解析
作者：徐奇
TiKV 推出了名为“partitioned-raft-kv”的新实验性功能，该功能采用一种新的架构，不仅可以显著提高 TiDB 的可扩展性，还能提升 TiDB 的写吞吐量和性能稳定性。
在上一篇文章中，我们介绍了 Partitioned Raf…
夯实智慧新能源数据底座，TiDB Serverless 在 Sandisolar+ 的应用实践
本文介绍了 SandiSolar通过 TiDB Serverless 构建智慧新能源数据底座的思路与实践。作为一家致力于为全球提供清洁电力解决方案的新能源企业，SandiSolar面临着处理大量实时数据的挑战。为了应对这一问题，SandiSolar选择了 TiDB Serverless 作为他们的数据…
TIDB v7.1 reource control资源管控特性体验贴
作者： bert 原文来源： https://tidb.net/blog/60c87e38 TIDB v7.1 reource control资源管控特性体验贴 1. 使用场景： 定义：TIDB的资源管控 (Resource Control) ，使用资源管控特性，将用户绑定到某个资源…
“分布式透明化”在杭州银行核心系统上线之思考
导读
随着金融行业数字化转型的需求，银行核心系统的升级改造成为重要议题。杭州银行成功上线以 TiDB 为底层数据库的新一代核心业务系统，该实践采用应用与基础设施解耦、分布式透明化的设计开发理念，推动银行核心系统的整体升级。
本文聚焦…
使用 Coze 搭建 TiDB 助手
导读
本文介绍了使用 Coze 平台搭建 TiDB 文档助手的过程。通过比较不同 AI Bot 平台，突出了 Coze 在插件能力和易用性方面的优势。文章深入讨论了实现原理，包括知识库、function call、embedding 模型等关键概念，最后成功演示了如何在 Coze…
使用 Coze 搭建 TiDB 助手
导读
本文介绍了使用 Coze 平台搭建 TiDB 文档助手的过程。通过比较不同 AI Bot 平台，突出了 Coze 在插件能力和易用性方面的优势。文章深入讨论了实现原理，包括知识库、function call、embedding 模型等关键概念，最后成功演示了如何在 Coze…
TiDB v7.1.0离线升级命令版
作者： 我是咖啡哥 原文来源： https://tidb.net/blog/9a7357ee TiDB更新真的很快，像我这种喜欢尝鲜的DBA就喜欢用最新版本，新版本一出，立马就想跟上，公司环境一般都不能直接联网，所以特意总结…
tidb ptca，ptcp考证
PingCAP 认证 TiDB 数据库专员 V6 考试（2023-02-23）https://learn.pingcap.com/learner/exam-market/list?categoryPCTA PingCAP 认证 TiDB 数据库管理专家（PCTP - DBA）认证考试范围指引 - ☄️ 学习与认证 - TiDB 的问答社区:lo…
Ubuntu 20.04 安装部署 TiDB DM v7.3.0 集群【全网独家】
文章目录 测试环境说明TiDB 单机环境部署DM 集群部署1. 免密设置2. 组件下载3. DM 配置文件模板获取4.DM 配置文件设置5.部署与启动 DM 集群 前言： 放眼全网，我找不出一篇在 Ubuntu 里面搭建 DM 集群的文章，虽然 TiDB 官方推荐使用 CentOS 系…
TiDB（2）：TiDB架构特性
1 TiDB 整体架构
TiDB 集群主要包括三个核心组件：TiDB Server，PD Server 和 TiKV Server。此外，还有用于解决用户复杂 OLAP 需求的 TiSpark 组件和简化云上部署管理的 TiDB Operator 组件。
架构图解 1.1 TiDB Server
TiDB Server 负责接收…
最佳实践：TiDB 业务写变慢分析处理
作者：李文杰 数据架构师，TUG 广州地区活动组织者
在日常业务使用或运维管理 TiDB 的过程中，每个开发人员或数据库管理员都或多或少遇到过 SQL 变慢的问题。这类问题大部分情况下都具有一定的规律可循，通过经验的积累可以快速的定…
【数据存储】TIDB和MySQL的区别
1.TIDB和MySQL对比
对比内容MySQLTiDB架构设计一个传统的单机数据库系统，采用主从复制和分区表等方式来实现水平扩展一个分布式的 NewSQL 数据库，采用分布式存储和分布式事务等技术，支持水平扩展和高可用性事务支持 InnoDB 存储引擎来支持事…
使用 TiUP 部署 TiDB 7.1.0 集群
使用 TiUP 部署 TiDB 7.1.0 集群
参考官方文档
1. 下载社区版安装包
TiDB 社区版
TiDB 7.1.0 为长期支持版本 (Long-Term Support Releases, LTS)。
TiDB-community-server 软件包
TiDB-community-toolkit 软件包
wget https://download.pingcap.org/tidb-community-ser…
数据库｜Binlog故障处理之drainer周期性罢工
目录 一、背景
二、故障现象
三、分析过程
四、解决方案
五、思考
六、总结 一、背景 最近，用户反馈我们的生产环境TiDB集群的drainer频繁发生故障。故障表现为服务崩溃无法启动，或者数据在运行过程中丢失，给我们的业务带来了很大的困扰…