数据库｜TiDB灾备切换实践-部署

news/2024/5/19 12:52:04 标签: 数据库, tidb, java, 灾备库

刘昊 | 数据库工程师

最近手头有个系统，有需要搭建灾备库的需求（RTO要求4小时内，根据实际情况计算）。考虑到生产系统是5版本，TiCDC存在一些兼容性问题，且TiDB Binlog已经有实践案例及经验可供参考，故选择使用TiDB Binlog来实现主集群-->灾备集群的增量数据同步。数据全量初始化采用Dumpling + TiDB Lightning工具。

具体实施过程如下：

一、灾备集群部署

灾备集群搭建方案，采用与主集群1：1的方式进行部署，直接用现生产环境集群拓扑文件进行部署，部署完成后建用户并赋权，具体过程不再赘述。

二、主集群扩容pump

编辑生产集群扩容pump所需拓扑文件，内容如下

pump_servers:
  - host: 10.3.31.1
    ssh_port: 22
    port: 8250
    deploy_dir: /app/tidb/tidb-deploy/pump-8250
    og_dir: /app/tidb/tidb-deploy/pump-8250/log
    data_dir: /app/tidb/tidb-data/pump-8250
  - host: 10.3.31.2
    ssh_port: 22
    port: 8250
    deploy_dir: /app/tidb/tidb-deploy/pump-8250
    log_dir: /app/tidb/tidb-deploy/pump-8250/log
    data_dir: /app/tidb/tidb-data/pump-8250        
  - host: 10.3.31.3
    ssh_port: 22
    port: 8250
    deploy_dir: /app/tidb/tidb-deploy/pump-8250
    log_dir: /app/tidb/tidb-deploy/pump-8250/log
data_dir: /app/tidb/tidb-data/pump-8250

编辑完成后，执行扩容命令

[tidb@tidb-test1 ~]$ tiup cluster scale-out tidb-test ./scale-out-pump.yaml -u tidb -p

扩容完成后，最终会输出如下内容

三、开启主集群Binlog功能

执行edit-config命令，修改集群配置：

[tidb@tidb-test1 ~]$ tiup cluster edit-config tidb-test

在server_configs下TiDB部分，添加如下配置

binlog.enable: true
binlog.ignore-error: true

编辑完成后，reload tidb节点使配置生效

[tidb@tidb-test1 ~]$ tiup cluster reload tidb-test -R tidb

reload完成后，会输出如下内容

四、主集群调整GC时间

登录数据库，执行如下sql：

set  global tidb_gc_life_time = '360m';

sql返回执行成功后，再次执行select @@tidb_gc_life_time；，查询结果输出为6h或360m，即为调整成功。

五、使用dumpling工具并将生产数据全量导出

[tidb@tidb-test1 ~]$ sudo mkdir $/dumpdir （$/dumpdir为导出数据存放目录，需确保空间充足）
[tidb@tidb-test1 ~]$ sudo chmod 777 $/dumpdir -R
[tidb@tidb-test1 ~]$ ./dumpling -u root -P 4000 -h 10.3.31.1 --filetype sql -t 8 -o $/dumpdir -r 200000              -F256MiB

导出完成后，日志最终会输出["dump data successfully, dumpling will exit now"]字样，如下图所示：

六、将导出数据目录上传至灾备服务器，进行全量导入

第一步，使用lightning工具将数据全量导入

以下为运行lightning所需配置文件，因导入数据量大，建议开启断点

[lightning]
level = "info"
file = "tidb-lightning.log"
index-concurrency = 2 
table-concurrency = 6
io-concurrency =20

[tikv-importer]
backend = "local"
sorted-kv-dir = "/home/tidb/sorted"

[mydumper]
data-source-dir = "$/dumpdir"
no-schema = false
filter = ['*.*']

[tidb]
host = "10.3.31.101"
port = 4000
user = "root"
password = ""
status-port = 10080
pd-addr = "10.3.31.101:2379"

[checkpoint]
enable = true
schema = "lightning-task-sql-checkpoint"
driver = "file"

[post-restore]
checksum = true
analyze = false

第二步，开始导入

[tidb@tidb-test1 ~]$ nohup ./tidb-lightning --config lightning-full.toml &

导入完成后，日志会输出["tidb lightning exit"]，如图:

七、灾备集群扩容pump

编辑扩容pump所需配置文件

pump_servers:
  - host: 10.3.31.101
    ssh_port: 22
    port: 8250
    deploy_dir: /app/tidb/tidb-deploy/pump-8250
    og_dir: /app/tidb/tidb-deploy/pump-8250/log
    data_dir: /app/tidb/tidb-data/pump-8250
  - host: 10.3.31.102
    ssh_port: 22
    port: 8250
    deploy_dir: /app/tidb/tidb-deploy/pump-8250
    log_dir: /app/tidb/tidb-deploy/pump-8250/log
    data_dir: /app/tidb/tidb-data/pump-8250        
  - host: 10.3.31.103
    ssh_port: 22
    port: 8250
    deploy_dir: /app/tidb/tidb-deploy/pump-8250
    log_dir: /app/tidb/tidb-deploy/pump-8250/log
data_dir: /app/tidb/tidb-data/pump-8250

上传完成后，执行如下命令扩容

[tidb@tidb-test1 ~]$ tiup cluster scale-out tidb-test ./scale-out-pump.yaml -u tidb

扩容完成后，最终会输出如下内容

八、灾备集群开启Binlog功能

执行edit-config命令，修改集群配置文件

[tidb@tidb-test1 ~]$ tiup cluster edit-config tidb-test

在server_config下tidb部分，添加如下配置

binlog.enable: true
binlog.ignore-error: true

修改完成后，reload tidb节点使配置生效

[tidb@tidb-test1 ~]$ tiup cluster reload tidb-test -R tidb

reload完成后，会输出如下内容

九、生产集群与灾备集群新建Drainer用户并授权

分别登录生产和灾备数据库，执行如下SQL，创建Drainer用户并授权

create user 'drainer'@'%' IDENTIFIED by 'Passwd@123';
grant select on . to 'drainer'@'%' with grant OPTION;
grant insert on . to 'drainer'@'%' with grant OPTION;
grant update on . to 'drainer'@'%' with grant OPTION;
grant delete on . to 'drainer'@'%' with grant OPTION;
grant create on . to 'drainer'@'%' with grant OPTION;
grant drop on . to 'drainer'@'%' with grant OPTION;
grant alter on . to 'drainer'@'%' with grant OPTION;
grant execute on . to 'drainer'@'%' with grant OPTION;
grant index on . to 'drainer'@'%' with grant OPTION;
grant create view on . to 'drainer'@'%' with grant OPTION;
Flush privileges;

以上sql均返回成功后，执行show grants for 'drainer'@'%';确认drainer用户权限包含Insert、Update、Delete、Create、Drop、Alter、Execute、Index、Select、Create View权限。

十、灾备集群扩容Drainer（本地记录Binlog，实现增量备份）

编辑扩容Binlog所需配置文件

drainer_servers:
  - host: 10.3.31.104
    port: 18249
    deploy_dir: /tidb-deploy/drainer-18249
    data_dir: /tidb-data/drainer-18249
    config:
      syncer.db-type: "file"
      syncer.to.host: "10.3.31.104"
      syncer.to.dir: &binlog_dir（需手动创建，新建目录需将属主与属组改为tidb用）

编辑完成后，执行如下命令扩容

[tidb@tidb-test1 ~]$ tiup cluster scale-out tidb-test ./scale-out-drainer.yaml --user tidb -p

扩容完成后，最终会输出如下内容

十一、主集群扩容Drainer

编辑扩容Drainer所需配置文件

drainer_servers:
  - host: 10.3.31.104
    port: 8249
    deploy_dir: /tidb-deploy/drainer-8249
    data_dir: /tidb-data/drainer-8249
    config:
      initial-commit-ts: （dumpling导出metadata中的Pso）
      syncer.db-type: "tidb"
      syncer.to.host: "10.3.31.101"
      syncer.to.user: "drainer"
      syncer.to.password: "XXX"(密码为第9步新建的drainer用户密码)
      syncer.to.port: 24000

dumpling导出metadata中Pso查看方式：

导出数据目录中$/dumpdir ，会有一个metadata的文件，执行cat命令即可查看该文件中Pso，如图所示：

编辑完成后，执行如下命令扩容

[tidb@tidb-test1 ~]$ tiup cluster scale-out tidb-test ./scale-out-drainer.yaml --user tidb -p

扩容完成后，最终会输出如下内容：

十二、检验同步链路是否搭建成功

分别访问集群监控（10.3.31.1:3000、10.3.31.101:3000），查询grafana监控面板中tidb-test-binlog-->drainer界面，如图：

checkpoint正常推进，代表drainer同步链路正常工作。

在生产库新建test表或在原有test表中插入数据，在灾备库进行查询，如生产库执行的DDL或DML在灾备库能够查询到，证明生产库增量数据可通过同步链路同步至灾备库，生产-->灾备数据同步链路搭建成功。

十三、GC时间调整回原配置

登录数据库，执行如下SQL：

set  global tidb_gc_life_time = '10m';

sql返回执行成功后，再次执行select @@tidb_gc_life_time；，查询结果输出为1h或10m，即为调整成功。

至此TiDB Binlog搭建的集群数据同步链路搭建完成，数据同步成功。

部署过程中，需要注意的是drainer的initial-commit-ts参数，只能在部署的时候配置，无法在已有drainer节点上进行配置。后续运维过程中，需额外关注Skip Binlog Count监控指标，防止出现TiDB 写入 Binlog 失败的情况，如出现TiDB 写入 Binlog 失败，需及时进行处理。

各位路过大佬如果有相关方案及操作步骤改进建议，欢迎进群讨论。


http://www.niftyadmin.cn/n/431762.html

相关文章

CAD绘制三维图形基础

CAD绘制三维图形基础

绘制三维图形的基础操作包括： 1、打开3d绘图窗口，进入3d绘图界面 2、改变绘图视角 3、改变图形的展现形式 4、绘制基本的几何图形 5、掌握对齐等修改功能 6、掌握基础布尔操作 首先是切换工作空间，在界面的右下角有一个类似设置的按钮…
阅读更多...
应急响应：系统入侵排查指南

应急响应：系统入侵排查指南

目录 系统基本信息排查 Windows系统排查 Linux系统排查 CPU信息 操作系统信息 载入模块排查 用户排查 Windows系统用户排查 排查所有账户 Linux用户排查 root账户排查 查看所有可登录账户 查看用户错误的登录信息 查看所有用户最后登录信息 排查空口令账户 启…
阅读更多...
Linux教程——Linux ls命令：查看目录下文件

Linux教程——Linux ls命令：查看目录下文件

通过学习 cd 和 pwd 命令，相信大家已经能够在庞大的 Linux 文件系统中，随心所欲地游荡并确定自己所在的位置了。下面来学习如何知道某目录中存放了哪些文件或子目录。 ls 命令，list 的缩写，是最常见的目录操作命令，其…
阅读更多...
前端眼里的Docker概念、工作流和实践-前端开发者也需要掌握Docker：加速你的开发流程

前端眼里的Docker概念、工作流和实践-前端开发者也需要掌握Docker：加速你的开发流程

如果现在有个厨王争霸赛，比赛的菜式是做一道🐔相关的菜式，选手们需要做不同的鸡，有需要公鸡和母鸡的，有需要鸡仔的，为了让选手们完美的进行比赛，主办方为每个选手准备了独立厨房，厨房…
阅读更多...
如何通过CRM系统进行群发邮件？

如何通过CRM系统进行群发邮件？

CRM客户管理软件不仅可以记录客户的信息，还可以集成电子邮箱，实现在CRM中即可管理客户邮件的功能。那么，CRM系统可以群发邮件吗？当然可以！使用Zoho CRM即可轻松实现邮件群发。 1、通过Zoho CRM群发邮件的好处 1&…
阅读更多...
一文掌握linux网络相关命令

一文掌握linux网络相关命令

欢迎关注博主 Mindtechnist 或加入【Linux C/C/Python社区】一起学习和分享Linux、C、C、Python、Matlab，机器人运动控制、多机器人协作，智能优化算法，滤波估计、多传感器信息融合，机器学习，人工智能等相关领域的知识和…
阅读更多...
认识ASP.NET MVC的5种AuthorizationFilter

认识ASP.NET MVC的5种AuthorizationFilter

一、IAuthorizationFilter 所有的AuthorizationFilter实现了接口IAuthorizationFilter。如下面的代码片断所示，IAuthorizationFilter定义了一个OnAuthorization方法用于实现授权的操作。作为该方法的参数filterContext是一个表示授权上下文的AuthorizationContext对…
阅读更多...
聚焦产品研发，极米科技创新能力领跑行业

聚焦产品研发，极米科技创新能力领跑行业

近年来，在消费升级、线上渠道迅速放量的背景下，家用智能投影已成为中国投影仪的第一大细分市场。有数据显示，2017年以来，中国消费级投影机出货量持续提升。根据第三方机构IDC（国际数据公司）统计&#xff0c…
阅读更多...
最新文章

Copyright @ 2022~2023