摘要：
NUMA绑核工具的使用，主要为了防止CPU资源的争抢，引发性能衰退。将CPU频率固定在其支持的最高运行频率上，不进行动态调节，可获取最佳的性能。执行以下命令查看数据目录所在磁盘的I/O调度器。假设在sdb、sdc两个磁盘上
tidb集群部署
原创国内数据库作者：chenoracle时间：2021-09-01 14:50:441360
###敏感数据已删除###
一.安装规划
1 2 3 4 5 6 | 使用15台服务器5台tidb服务器:每台3个tidb实例+1个pd+1个pump10台tikv服务器:每台4个tikv实例drainer_servers安装在第一台tidb机器上grafana_servers安装在3台中控机alertmanager_servers安装在3台中控机 |
二.服务器规划
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | 业务IP心跳IPservices主机名10.10.10.10110.100.100.101tidb&pd&pumpxx-xxtidb-db0110.10.10.10210.100.100.102tidb&pd&pumpxx-xxtidb-db0210.10.10.10310.100.100.103tidb&pd&pumpxx-xxtidb-db0310.10.10.10410.100.100.104tidb&pd&pumpxx-xxtidb-db0410.10.10.10510.100.100.105tidb&pd&pumpxx-xxtidb-db0510.10.10.10610.100.100.106tikvxx-xxtikv-db0110.10.10.10710.100.100.107tikvxx-xxtikv-db0210.10.10.10810.100.100.108tikvxx-xxtikv-db0310.10.10.10910.100.100.109tikvxx-xxtikv-db0410.10.10.11010.100.100.110tikvxx-xxtikv-db0510.10.10.11110.100.100.111tikvxx-xxtikv-db0610.10.10.11210.100.100.112tikvxx-xxtikv-db0710.10.10.11310.100.100.113tikvxx-xxtikv-db0810.10.10.11410.100.100.114tikvxx-xxtikv-db0910.10.10.11510.100.100.115tikvxx-xxtikv-db10 |
三.安装前配置
1 2 3 4 5 6 7 8 9 10 11 | 1.关闭SWAP2.安装numactl工具3.创建data目录4.检查及关闭防火墙5.检查并关闭透明大页6.I/O调度器7.创建tidb用户8.设置sudo9.配置互信10.TiDB/PD机器挂载数据盘11.安装前再次检查 |
1.关闭SWAP
1 2 3 | 检测及关闭系统swap(所有机器)cat/etc/sysctl.conf|grepvm.swappiness检测及关闭系统swap(所有机器) |
1 2 3 4 5 6 7 8 | echo"vm.min_free_kbytes=6291456">>/etc/sysctl.confecho"vm.swappiness=0">>/etc/sysctl.confswapoff-a&&swapon-asysctl-pvi/etc/fstab删除swap行vi/etc/fstab/dev/mapper/vg_srv-lv_swapswapswapdefaults00--删除 |
2.安装numactl工具
1 2 3 4 | 在生产环境中，因为硬件机器配置往往高于需求，为了更合理规划资源，会考虑单机多实例部署TiDB或者TiKV。NUMA绑核工具的使用，主要为了防止CPU资源的争抢，引发性能衰退。登录到目标节点进行安装（以CentOSLinuxrelease7.7.1908(Core)为例）sudoyum-yinstallnumact |
l3.创建data目录
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | vgslvcreate-L2000G-nlv_datavg_srvlvsmkfs.ext4/dev/vg_srv/lv_datamkdir/dataecho'/dev/mapper/vg_srv-lv_data/dataext4defaults00'>>/etc/fstabmount-adf-hlvcreate-L2000G-nlv_datavg_srvMultipleVGsfoundwiththesamename:skippingvg_srvUse--selectvg_uuid=<uuid>inplaceoftheVGname.vgsVG#PV#LV#SNAttrVSizeVFreevg_srv170wz--n-3.81t<3.46tvg_srv170wz--n-<893.86g527.66g |
4.检查及关闭防火墙
1 2 3 4 5 6 7 8 9 | 检查防火墙状态（以CentOSLinuxrelease7.7.1908(Core)为例）sudofirewall-cmd--statesudosystemctlstatusfirewalld.service关闭防火墙服务sudosystemctlstopfirewalld.service关闭防火墙自动启动服务sudosystemctldisablefirewalld.service检查防火墙状态sudosystemctlstatusfirewalld.service |
5.检查并关闭透明大页
检查结果：
15台机器都没关闭透明大页
1 2 3 4 5 6 7 8 9 10 | vim/etc/rc.localtouch/var/lock/subsys/localiftest-f/sys/kernel/mm/transparent_hugepage/enabled;thenechonever>/sys/kernel/mm/transparent_hugepage/enabledfiiftest-f/sys/kernel/mm/transparent_hugepage/defrag;thenechonever>/sys/kernel/mm/transparent_hugepage/defragfi[root@sy-xxtikv-db09~]#cat/sys/kernel/mm/transparent_hugepage/enabled[always]madvisenever |
1 2 3 | 重启主机，检查透明大页#cat/sys/kernel/mm/transparent_hugepage/enabledalwaysmadvise[never] |
6.I/O 调度器
1 2 3 4 5 6 7 8 9 | lsblk将存储介质的I/O调度器设置为noop。对于高速SSD存储介质，内核的I/O调度操作会导致性能损失。将调度器设置为noop后，内核不做任何操作，直接将I/O请求下发给硬件，以获取更好的性能。同时，noop调度器也有较好的普适性。为调整CPU频率的cpufreq模块选用performance模式。将CPU频率固定在其支持的最高运行频率上，不进行动态调节，可获取最佳的性能。执行以下命令查看数据目录所在磁盘的I/O调度器。假设在sdb、sdc两个磁盘上创建了数据目录。 |
1 2 3 4 | cat/sys/block/sda/queue/scheduler[noop]deadlinecfqvi/etc/rc.localechonoop>/sys/block/sda/queue/scheduler |
执行以下命令查看cpufreq模块选用的节能策略。
1 2 3 4 | cpupowerfrequency-info--policy#####确保是performanceanalyzingCPU0:currentpolicy:frequencyshouldbewithin1.20GHzand3.10GHz.Thegovernor"performance"maydecidewhichspeedtousewithinthisrange. |
7.创建tidb用户
1 2 3 4 | useraddtidbecho"*****"|passwd--stdintidbpasswdtidbchown-Rtidb.tidb/data |
8.设置sudo
执行以下命令，将 tidb ALL=(ALL) NOPASSWD:ALL添加到文件末尾，即配置好sudo免密码。
visudo
tidb ALL=(ALL) NOPASSWD:ALL
9.配置互信
手动配置SSH互信及sudo免密码
中控机和其他机器配置互信
tidb+tikv
以 root 用户依次登录到部署目标机器创建 tidb 用户并设置登录密码。（所有机器）
以 tidb 用户登录到中控机，执行以下命令, 创建 ssh key, 提示 Enter passphrase 时直接回车即可
cd .ssh/
ls
###ssh-keygen -t rsa 不需要在执行，已经有了
以 tidb 用户登录到中控机，执行以下命令。
将IP替换成你的部署目标机器 IP，按提示输入部署目标机器 tidb 用户密码，执行成功后即创建好SSH互信，其他机器同理。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | su-tidbssh-copy-id-i.ssh/id_rsa.pub10.100.100.101ssh-copy-id-i.ssh/id_rsa.pub10.100.100.102ssh-copy-id-i.ssh/id_rsa.pub10.100.100.103ssh-copy-id-i.ssh/id_rsa.pub10.100.100.104ssh-copy-id-i.ssh/id_rsa.pub10.100.100.105ssh-copy-id-i.ssh/id_rsa.pub10.100.100.106ssh-copy-id-i.ssh/id_rsa.pub10.100.100.107ssh-copy-id-i.ssh/id_rsa.pub10.100.100.108ssh-copy-id-i.ssh/id_rsa.pub10.100.100.109ssh-copy-id-i.ssh/id_rsa.pub10.100.100.110ssh-copy-id-i.ssh/id_rsa.pub10.100.100.111ssh-copy-id-i.ssh/id_rsa.pub10.100.100.112ssh-copy-id-i.ssh/id_rsa.pub10.100.100.113ssh-copy-id-i.ssh/id_rsa.pub10.100.100.114ssh-copy-id-i.ssh/id_rsa.pub10.100.100.115 |
互信测试：
以 tidb 用户登录中控机，通过 ssh 的方式登录目标机器 IP。
如果不需要输入密码并登录成功，即表示 SSH 互信配置成功。
sudo测试：
1 2 | 以tidb用户登录到部署目标机器后，执行以下命令，不需要输入密码并切换到root用户，表示tidb用户sudo免密码配置成功。（所有机器）sudosu- |
10.TiDB/PD机器挂载数据盘
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 | tidb:df-hlsblkmkfs.ext4/dev/sdamkfs.ext4/dev/nvme1n1mkdir-p/data/tidb-xx/pump/mkdir-p/data/tidb-xx/pdtidb:fs.shmount-aTiKV机器挂载数据盘tikv:df-hlsblkmkfs.ext4/dev/nvme1n1mkfs.ext4/dev/nvme2n1mkfs.ext4/dev/nvme3n1mkfs.ext4/dev/nvme4n1mkdir-p/data/tidb-xx/tikv1mkdir-p/data/tidb-xx/tikv2mkdir-p/data/tidb-xx/tikv3mkdir-p/data/tidb-xx/tikv4tikv:fs.shmount-a |
挂载tidb磁盘脚本如下：
1 2 3 4 5 6 | catfs.sh#!/bin/bashA="`lsblk-f|grepnvme1|awk-F'''{print$3}'`"echo"UUID=$A/data/tidb-xx/pump/ext4defaults,nodelalloc,noatime00">>/etc/fstabi="`lsblk-f|grepsda|awk-F'''{print$3}'`"echo"UUID=$i/data/tidb-xx/pd/ext4defaults,nodelalloc,noatime00">>/etc/fstab |
挂载tikv磁盘
1 2 3 4 5 6 7 8 9 10 11 | [root@sy-xxtikv-db01~]#catfs.sh#!/bin/bashA="`lsblk-f|grepnvme1|awk-F'''{print$3}'`"echo"UUID=$A/data/tidb-xx/tikv1ext4defaults,nodelalloc,noatime00">>/etc/fstabj="`lsblk-f|grepnvme2|awk-F'''{print$3}'`"echo"UUID=$j/data/tidb-xx/tikv2ext4defaults,nodelalloc,noatime00">>/etc/fstabk="`lsblk-f|grepnvme3|awk-F'''{print$3}'`"echo"UUID=$k/data/tidb-xx/tikv3ext4defaults,nodelalloc,noatime00">>/etc/fstabl="`lsblk-f|grepnvme4|awk-F'''{print$3}'`"echo"UUID=$l/data/tidb-xx/tikv4ext4defaults,nodelalloc,noatime00">>/etc/fstab |
执行以下命令查看磁盘的唯一标识 ID_SERIAL
#udevadm info --name=/dev/sdb | grep ID_SERIAL
# 如果多个磁盘都分配了数据目录，需要多次执行以上命令，记录所有磁盘各自的唯一标识。
11.检查并调整limits.conf
1 2 3 4 5 6 | vi/etc/security/limits.conf#####ADDFORTIDB##########tidbsoftnofile1000000tidbhardnofile1000000tidbsoftcoreunlimitedtidbsoftstack10240 |
12.安装前再次检查
tidb检查
1 2 3 4 | systemctlstatusfierwalld.servicesystemctlstatusntpd.servicecpupowerfrequency-info--policycat/etc/selinux/config |
tikv需检查
1 2 3 4 5 6 7 8 9 10 11 12 | cat/sys/block/nvme1n1/queue/schedulercat/sys/block/nvme2n1/queue/schedulercat/sys/block/nvme3n1/queue/schedulercat/sys/block/nvme4n1/queue/schedulercat/sys/block/nvme1n1/queue/scheduler[none]mq-deadlinekybercat/sys/block/nvme2n1/queue/scheduler[none]mq-deadlinekybercat/sys/block/nvme3n1/queue/scheduler[none]mq-deadlinekybercat/sys/block/nvme4n1/queue/scheduler[none]mq-deadlinekyber |
tidb:
1 2 | cat/sys/block/sda/queue/schedulercat/sys/block/nvme1n1/queue/scheduler |
四.部署集群
部署集群(中控机)
1.准备topology_xx_v4.0.12.yaml配置文件
2.开始部署
1 2 | #tiupclusterdeployxxpoolv4.0.12-20210427./topology.yamltiupclusterdeployxxpoolv4.0.12-20210427topology_xx_v4.0.12.yaml--usertidb |
注：
v4.0.12-20210427安装包是那个版本就是写那个版本的
如果没有指定 -i 参数，会提示输入远程机器的登录密码，如果 key 包含 passphrase，则会提示输入。
五.参数优化
1.启动集群
tiup cluster start xxpool
2.参数优化
1 2 3 4 5 6 7 8 9 10 11 12 | mysql-uroot-h10.100.100.101-P4000-p*****set@@global.tidb_opt_insubq_to_join_and_agg=1;set@@global.tidb_mem_quota_query=34359738368;set@@global.tidb_enable_table_partition='off';set@@global.tidb_enable_telemetry='0';set@@global.tidb_disable_txn_auto_retry='0';set@@global.tidb_allow_batch_cop='0';set@@global.tidb_multi_statement_mode='1';set@@global.sql_mode='STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION';set@@global.tidb_skip_isolation_level_check='1';set@@global.tidb_retry_limit='100';setpasswordforroot@'%'=password('*******'); |