猿创征文|分布式国产数据库 TiDB 从入门到实战

写在前面

本文讲解的是目前欢迎程度最高分布式国产数据库 TiDB,详细讲解了 TiDB 的由来、架构、SQL 基本操作、SpringBoot 整合 TiDB 等内容。

一、概述

在这里插入图片描述

TiDB 是 PingCAP 公司使用 Go 语言自主设计、研发的开源分布式关系型数据库,它基于 Google 公司的 Google Spanner / F1 论文设计的开源分布式数据库,是一款结合了传统的关系型数据库NoSQL数据库特性的新型分布式数据库。

TiDB 自开源后受到广泛的关注和讨论,至今其 GitHub 项目已经超过 32k多个star5k多的fork

TiDB 作为国产新兴数据库,与传统的单机数据库相比,TiDB 具有以下优势:

  • 纯分布式架构,拥有良好的扩展性,支持弹性的扩缩容
  • 支持 SQL,对外暴露 MySQL 的网络协议,并兼容大多数 MySQL 的语法,在大多数场景下可以直接替换 MySQL
  • 默认支持高可用,在少数副本失效的情况下,数据库本身能够自动进行数据修复和故障转移,对业务透明
  • 支持 ACID 事务,对于一些有强一致需求的场景友好,例如:银行转账
  • 具有丰富的工具链生态,覆盖数据迁移、同步、备份等多种场景

如下是 TiDB 数据库的架构图:

在这里插入图片描述

  • TiDB Server: SQL 层。负责接受客户端的连接,执行 SQL 解析和优化,最终生成分布式执行计划。
  • PD (Placement Driver) Server: 整个 TiDB 集群的大脑。负责调度 TiKV 节点,提供 TiDB Dashboard 管控界面,并为分布式事务分配事务 ID。
  • Storage(存储节点):存储节点分为 TiKV 和 TiFlash。
    • TiKV: 负责存储数据,数据行存的,对有事务需求的数据友好。
    • TiFlash: 列式存储,对于统计分析友好。可以将统计查询,经常做暴力扫描类型的业务数据存入TiFlash。

二、与 MySQL 兼容性对比

目前大多数企业项目使用的数据库为MySQL数据库,对于与 MySQL 兼容性的支持是非常重要的。

TiDB 高度兼容 MySQL 5.7 协议、MySQL 5.7 常用的功能及语法。MySQL 5.7 生态中的系统工具 (PHPMyAdmin、Navicat、MySQL Workbench、mysqldump、Mydumper/Myloader)、客户端等均适用于 TiDB。

高度兼容的同时,也有一些不支持的功能特性。大家在使用时,一定要非常注意的地方。

  • 存储过程与函数
  • 触发器
  • 事件
  • 自定义函数
  • 外键约束
  • 全文语法与索引
  • 空间类型的函数(即 GIS/GEOMETRY)、数据类型和索引
  • asciilatin1binaryutf8utf8mb4gbk 的字符集
  • SYS schema
  • MySQL 追踪优化器
  • XML 函数
  • X-Protocol
  • Savepoints
  • 列级权限
  • XA 语法(TiDB 内部使用两阶段提交,但并没有通过 SQL 接口公开)
  • CREATE TABLE tblName AS SELECT stmt 语法
  • CHECK TABLE 语法
  • CHECKSUM TABLE 语法
  • REPAIR TABLE 语法
  • OPTIMIZE TABLE 语法
  • HANDLER 语句
  • CREATE TABLESPACE 语句

大家在对技术选型,或者技术更迭的时候,一定要做好充分的兼容测试,尽可能的避免在中途出现不可控的问题。

三、安装使用

目前 TiDB 仅支持 macOS 和 Linux 系统。

注意:使用 Linux 请一定要用 CentOS 7.6 及以上系统,我开始使用 Ubuntu 22.04 LTS 版本,会出现部署不了的情况,也出现部署安装完成后,启动不了,接着切换到 CentOS 7.9 的系统,可以顺利安装启动。

这里本来想使用Docker Compose方式安装的,但是看官网说仅用于测试,不能用于生产,就放弃使用这种方式了。原文:警告:这仅用于测试,请勿在生产中使用!

环境准备:

  • 推荐安装 CentOS 7.6 及以上版本
  • 运行环境可以支持互联网访问,用于下载 TiDB 及相关软件安装包

1)、下载并安装 TiUP

curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
$ curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 7085k  100 7085k    0     0  8205k      0 --:--:-- --:--:-- --:--:-- 8201k
WARN: adding root certificate via internet: https://tiup-mirrors.pingcap.com/root.json
You can revoke this by remove /root/.tiup/bin/7b8e153f2e2d0928.root.json
Successfully set mirror to https://tiup-mirrors.pingcap.com
Detected shell: bash
Shell profile:  /root/.bash_profile
/root/.bash_profile has been modified to add tiup to PATH
open a new terminal or source /root/.bash_profile to use it
Installed path: /root/.tiup/bin/tiup
===============================================
Have a try:     tiup playground
==============================================

2)、声明全局环境变量

TiUP 安装完成后会提示对应 Shell profile 文件的绝对路径。

我的是:/root/.bash_profile

source /root/.bash_profile

3)、安装 TiUP 的 cluster 组件

tiup cluster

如果机器已经安装 TiUP cluster,需要更新软件版本:

tiup update --self && tiup update cluster

4)、增大 sshd 服务连接数

由于模拟多机部署,需要通过 root 用户调大 sshd 服务的连接数限制:

  • 修改 /etc/ssh/sshd_configMaxSessions 调至 20。

  • 重启 sshd 服务:

    service sshd restart
    

5)、创建并启动集群

创建目录

mkdir -p /usr/local/tidb
cd /usr/local/tidb/

创建配置文件 topo.yaml。配置模板如下:

# # Global variables are applied to all deployments and used as the default value of
# # the deployments if a specific deployment value is missing.
global:
 user: "tidb"
 ssh_port: 22
 deploy_dir: "/tidb-deploy"
 data_dir: "/tidb-data"

# # Monitored variables are applied to all the machines.
monitored:
 node_exporter_port: 9100
 blackbox_exporter_port: 9115

server_configs:
 tidb:
   log.slow-threshold: 300
 tikv:
   readpool.storage.use-unified-pool: false
   readpool.coprocessor.use-unified-pool: true
 pd:
   replication.enable-placement-rules: true
   replication.location-labels: ["host"]
 tiflash:
   logger.level: "info"

pd_servers:
 - host: 192.168.110.134

tidb_servers:
 - host: 192.168.110.134

tikv_servers:
 - host: 192.168.110.134
   port: 20160
   status_port: 20180
   config:
     server.labels: { host: "logic-host-1" }

 - host: 192.168.110.134
   port: 20161
   status_port: 20181
   config:
     server.labels: { host: "logic-host-2" }

 - host: 192.168.110.134
   port: 20162
   status_port: 20182
   config:
     server.labels: { host: "logic-host-3" }

tiflash_servers:
 - host: 192.168.110.134

monitoring_servers:
 - host: 192.168.110.134

grafana_servers:
 - host: 192.168.110.134
  • user: "tidb":表示通过 tidb 系统用户(部署会自动创建)来做集群的内部管理,默认使用 22 端口通过 ssh 登录目标机器
  • replication.enable-placement-rules:设置这个 PD 参数来确保 TiFlash 正常运行
  • host:设置为本部署主机的 IP。(更改为自己机器IP)

6)、部署集群

命令格式为:

tiup cluster deploy <cluster-name> <tidb-version> ./topo.yaml --user root -p
  • <cluster-name>:需设置的集群名称
  • <tidb-version>:需设置的集群版本。可以通过 tiup list tidb 命令来查看当前支持部署的 TiDB 版本
  • -p :表示在连接目标机器时使用密码登录

首先使用tiup list tidb命令查看 TiDB 版本

tiup list tidb

我们这里就使用最新稳定版 v6.3.0

执行集群部署命令:

tiup cluster deploy my-tidb v6.3.0 ./topo.yaml --user root -p

此命令需要在 topo.yaml 目录执行

执行后,会提示让你输入 SSH 密码,也就是你的登录密码。

$ tiup cluster deploy my-tidb v6.3.0 ./topo.yaml --user root -p
tiup is checking updates for component cluster ...
Starting component `cluster`: /root/.tiup/components/cluster/v1.11.0/tiup-cluster deploy my-tidb v6.3.0 ./topo.yaml --user root -p
Input SSH password:

然后根据提示,输入 y 后,等待部署完成

Do you want to continue? [y/N]: (default=N)

安装程序跑完后,记得看一下是否所有的组件都成功安装,如果安装失败,根据提示查看日志进行解决。

7)、启动集群

命令格式:

tiup cluster start <cluster-name>

执行命令:

tiup cluster start my-tidb

8)、客户端访问

一定要关闭防火墙在进行测试

使用 Navicat 客户端连接工具,选择MySQL方式连接。连接成功。

在这里插入图片描述

使用 SQLyog 也可以连接成功。

在这里插入图片描述

9)、Grafana 监控页面

访问地址:

http://IP:3000

默认用户名和密码均为 admin

在这里插入图片描述

10)、TiDB 的 Dashboard

访问地址:

http://IP:2379/dashboard

默认用户名为 root,密码为空。

在这里插入图片描述


在这里插入图片描述

有很多实用的功能,可以查看 QPS、慢查询、流量查询等。可以帮助我们快速的定位问题。

四、SQL 基本操作

安装好 TiDB 后,便可以在 TiDB 中执行 SQL 语句了。我这里直接使用大家常用的 Navicat 进行操作了。

因为 TiDB 兼容 MySQL,我们可以像操作 MySQL 一样操作 TiDB。

4.1、库操作

1)、查看数据库列表

SHOW DATABASES;

在这里插入图片描述

2)、创建数据库

CREATE DATABASE IF NOT EXISTS my_db;

添加 IF NOT EXISTS 可防止发生错误。

3)、切换数据库

USE my_db;

4)、删除数据库

DROP DATABASE my_db;

5)、查看数据库下所有的表

SHOW TABLES FROM my_db;

4.2、表操作

1)、创建表

语法格式:

CREATE TABLE table_name column_name data_type constraint;

创建 sys_user

CREATE TABLE sys_user (
    id INT(11),
    name VARCHAR(255),
    birthday DATE
);

2)、删除表

DROP TABLE sys_user;

3)、插入数据

两种方式

INSERT INTO sys_user VALUES(1,'tom','20221008');
INSERT INTO sys_user(id,name) VALUES('2','bob');

4)、查询数据

SELECT * FROM sys_user;

5)、修改数据

UPDATE sys_user SET birthday='20221009' WHERE id=2;

6)、删除数据

DELETE FROM sys_user WHERE id=2;

4.3、索引操作

1)、普通索引

两种方式

CREATE INDEX sys_user_id ON sys_user (id);
ALTER TABLE sys_user ADD INDEX sys_user_id (id);

2)、唯一索引

两种方式

CREATE UNIQUE INDEX sys_user_unique_id ON sys_user (id);
ALTER TABLE sys_user ADD UNIQUE sys_user_unique_id (id);

3)、查看表内索引

SHOW INDEX FROM sys_user;

4)、删除索引

两种方式

DROP INDEX sys_user_id ON sys_user;
ALTER TABLE sys_user DROP INDEX sys_user_unique_id;

4.4、用户操作

1)、创建用户

创建用户 micromaple ,密码 123456

CREATE USER 'micromaple'@'localhost' IDENTIFIED BY '123456';

2)、授权用户

授权用户 micromaple 可检索数据库 my_db 内的表:

GRANT SELECT ON my_db.* TO 'micromaple'@'localhost';

授权所有权限:

GRANT ALL PRIVILEGES ON *.* TO 'micromaple'@'localhost';

3)、查询权限

SHOW GRANTS for micromaple@localhost;

4)、删除用户

DROP USER 'micromaple'@'localhost';

5)、设置用户远程访问

update mysql.user set host = '%' where user = 'micromaple';
FLUSH PRIVILEGES;

五、SpringBoot 整合

TiDB 对于 JDBC 的支持等级是 Full。也就是全量支持。

我们只需要引入 Java JDBC 驱动程序即可使用。

官方说明:强烈建议使用 JDBC 5.1 的最后一个版本 5.1.49。因为当前 8.0.29 版本有未合并的Bug 修复,在与 TiDB 共同使用时可能会导致线程卡死。在 MySQL JDBC 8.0 未合并此修复之前,建议不要升级至 8.0 版本。

Maven 引入依赖

<!-- Junit -->
<dependency>
	<groupId>junit</groupId>
	<artifactId>junit</artifactId>
	<scope>test</scope>
</dependency>
<!-- Spring Web -->
<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-test</artifactId>
	<scope>test</scope>
</dependency>
<!-- MySQL Drivers -->
<dependency>
	<groupId>mysql</groupId>
	<artifactId>mysql-connector-java</artifactId>
	<version>5.1.49</version>
</dependency>
<!-- JDBC -->
<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>
<!-- mybatis-plus -->
<dependency>
	<groupId>com.baomidou</groupId>
	<artifactId>mybatis-plus-boot-starter</artifactId>
	<version>3.5.2</version>
</dependency>
<!-- lombok -->
<dependency>
	<groupId>org.projectlombok</groupId>
	<artifactId>lombok</artifactId>
</dependency>

application.yml 配置:

spring:
  datasource:
    driver-class-name: com.mysql.jdbc.Driver
    type: com.zaxxer.hikari.HikariDataSource
    url: jdbc:mysql://192.168.110.134:4000/my_db?useUnicode=true&characterEncoding=utf-8&useSSL=true
    username: root
    password:

启动类增加注解,扫描mapper

@MapperScan(value = "com.micromaple.tidb.mapper")

SysUser 实体类

package com.micromaple.tidb.domain;

import lombok.Data;

import java.util.Date;

@Data
public class SysUser {
    /**
     * 主键ID
     */
    private Integer id;
    
    /**
     * 姓名
     */
    private String name;
    
    /**
     * 生日
     */
    private Date birthday;
    
}

SysUserMapper

package com.micromaple.tidb.mapper;

import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.micromaple.tidb.domain.SysUser;
import org.springframework.stereotype.Repository;

@Repository
public interface SysUserMapper extends BaseMapper<SysUser> {
    
}

编写测试类,测试新增和查询

package com.micromaple.tidb;

import com.micromaple.tidb.domain.SysUser;
import com.micromaple.tidb.mapper.SysUserMapper;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import java.util.Date;
import java.util.List;

@SpringBootTest(classes = TiDBDemoApplication.class)
@RunWith(SpringRunner.class)
public class SysUserTest {

    @Autowired
    private SysUserMapper sysUserMapper;

    @Test
    public void testAdd() {
        SysUser sysUser = new SysUser();
        sysUser.setId(3);
        sysUser.setName("Micromaple");
        sysUser.setBirthday(new Date());
        int i = sysUserMapper.insert(sysUser);
        if(i > 0){
            System.out.println("新增成功");
        }
    }

    @Test
    public void testSelect() {
        List<SysUser> sysUserList = sysUserMapper.selectList(null);
        for (SysUser sysUser : sysUserList) {
            System.out.println(sysUser.getName());
        }
    }
}

测试成功!!

最大的感触就是跟使用 MySQL 基本没有任何差别,可以使用常用的 ORM 框架,比如:HibernateMyBatis等。

官方文档也有提供大量的详细的教程,比如集群部署、数据迁移、运维操作、监控告警等,完备及活跃的社区也给我们开发人员提供了有力的保障。当然确定一款数据库是否适合自己的业务还需要大量测试和实践检验,这是非常重要的。

原文地址:https://blog.csdn.net/qq_41779565/article/details/127256104

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读5.3k次,点赞10次,收藏39次。本章详细写了mysql的安装,环境的搭建以及安装时常见的问题和解决办法。_mysql安装及配置超详细教程
文章浏览阅读1.8k次,点赞50次,收藏31次。本篇文章讲解Spark编程基础这门课程的期末大作业,主要围绕Hadoop基本操作、RDD编程、SparkSQL和SparkStreaming编程展开。_直接将第4题的计算结果保存到/user/root/lisi目录中lisipi文件里。
文章浏览阅读7.8k次,点赞9次,收藏34次。ES查询常用语法目录1. ElasticSearch之查询返回结果各字段含义2. match 查询3. term查询4. terms 查询5. range 范围6. 布尔查询6.1 filter加快查询效率的原因7. boosting query(提高查询)8. dis_max(最佳匹配查询)9. 分页10. 聚合查询【内含实际的demo】_es查询语法
文章浏览阅读928次,点赞27次,收藏18次。
文章浏览阅读1.1k次,点赞24次,收藏24次。作用描述分布式协调和一致性协调多个节点的活动,确保一致性和顺序。实现一致性、领导选举、集群管理等功能,确保系统的稳定和可靠性。高可用性和容错性Zookeeper是高可用的分布式系统,通过多个节点提供服务,容忍节点故障并自动进行主从切换。作为其他分布式系统的高可用组件,提供稳定的分布式协调和管理服务,保证系统的连续可用性。配置管理和动态更新作为配置中心,集中管理和分发配置信息。通过订阅机制,实现对配置的动态更新,以适应系统的变化和需求的变化。分布式锁和并发控制。
文章浏览阅读1.5k次,点赞26次,收藏29次。为贯彻执行集团数字化转型的需要,该知识库将公示集团组织内各产研团队不同角色成员的职务“职级”岗位的评定标准;
文章浏览阅读1.2k次,点赞26次,收藏28次。在安装Hadoop之前,需要进行以下准备工作:确认操作系统:Hadoop可以运行在多种操作系统上,包括Linux、Windows和Mac OS等。选择适合你的操作系统,并确保操作系统版本符合Hadoop的要求。安装Java环境:Hadoop是基于Java开发的,因此需要先安装和配置Java环境。确保已经安装了符合Hadoop版本要求的Java Development Kit (JDK),并设置好JAVA_HOME环境变量。确认硬件要求:Hadoop是一个分布式系统,因此需要多台计算机组成集群。
文章浏览阅读974次,点赞19次,收藏24次。# 基于大数据的K-means广告效果分析毕业设计 基于大数据的K-means广告效果分析。
文章浏览阅读1.7k次,点赞6次,收藏10次。Hadoop入门理论
文章浏览阅读1.3w次,点赞28次,收藏232次。通过博客和文献调研整理的一些农业病虫害数据集与算法。_病虫害数据集
文章浏览阅读699次,点赞22次,收藏7次。ZooKeeper使用的是Zab(ZooKeeper Atomic Broadcast)协议,其选举过程基于一种名为Fast Leader Election(FLE)的算法进行。:每个参与选举的ZooKeeper服务器称为一个“Follower”或“Candidate”,它们都有一个唯一的标识ID(通常是一个整数),并且都知道集群中其他服务器的ID。总之,ZooKeeper的选举机制确保了在任何时刻集群中只有一个Leader存在,并通过过半原则保证了即使部分服务器宕机也能维持高可用性和一致性。
文章浏览阅读10w+次,点赞62次,收藏73次。informatica 9.x是一款好用且功能强大的数据集成平台,主要进行各类数据库的管理操作,是使用相当广泛的一款ETL工具(注: ETL就是用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)到目的端的过程)。本文主要为大家图文详细介绍Windows10下informatica powercenter 9.6.1安装与配置步骤。文章到这里就结束了,本人是在虚拟机中装了一套win10然后在此基础上测试安装的这些软件,因为工作学习要分开嘛哈哈哈。!!!!!_informatica客户端安装教程
文章浏览阅读7.8w次,点赞245次,收藏2.9k次。111个Python数据分析实战项目,代码已跑通,数据可下载_python数据分析项目案例
文章浏览阅读1.9k次,点赞61次,收藏64次。TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新,已帮助数千家行业客户利用大数据平台构建核心商业系统,加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值,依托于TDH强大的技术底座,星环科技推出TDH社区版(Transwarp Data Hub Community Edition)版本,致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境,轻松应对各类人员数据分析需求。_星环tdh没有hive
文章浏览阅读836次,点赞21次,收藏19次。
文章浏览阅读1k次,点赞21次,收藏15次。主要介绍ETL相关工作的一些概念和需求点
文章浏览阅读1.4k次。本文以Android、java为开发技术,实现了一个基于Android的博物馆线上导览系统 app。基于Android的博物馆线上导览系统 app的主要使用者分为管理员和用户,app端:首页、菜谱信息、甜品信息、交流论坛、我的,管理员:首页、个人中心、用户管理、菜谱信息管理、菜谱分类管理、甜品信息管理、甜品分类管理、宣传广告管理、交流论坛、系统管理等功能。通过这些功能模块的设计,基本上实现了整个博物馆线上导览的过程。
文章浏览阅读897次,点赞19次,收藏26次。1.背景介绍在当今的数字时代,数据已经成为企业和组织中最宝贵的资源之一。随着互联网、移动互联网和物联网等技术的发展,数据的产生和收集速度也急剧增加。这些数据包括结构化数据(如数据库、 spreadsheet 等)和非结构化数据(如文本、图像、音频、视频等)。这些数据为企业和组织提供了更多的信息和见解,从而帮助他们做出更明智的决策。业务智能(Business Intelligence,BI)...
文章浏览阅读932次,点赞22次,收藏16次。也就是说,一个类应该对自己需要耦合或调用的类知道的最少,类与类之间的关系越密切,耦合度越大,那么类的变化对其耦合的类的影响也会越大,这也是我们面向对象设计的核心原则:低耦合,高内聚。优秀的架构和产品都是一步一步迭代出来的,用户量的不断增大,业务的扩展进行不断地迭代升级,最终演化成优秀的架构。其根本思想是强调了类的松耦合,类之间的耦合越弱,越有利于复用,一个处在弱耦合的类被修改,不会波及有关系的类。缓存,从操作系统到浏览器,从数据库到消息队列,从应用软件到操作系统,从操作系统到CPU,无处不在。
文章浏览阅读937次,点赞22次,收藏23次。大数据可视化是关于数据视觉表现形式的科学技术研究[9],将数据转换为图形或图像在屏幕上显示出来,并进行各种交互处理的理论、方法和技术。将数据直观地展现出来,以帮助人们理解数据,同时找出包含在海量数据中的规律或者信息,更多的为态势监控和综合决策服务。数据可视化是大数据生态链的最后一公里,也是用户最直接感知数据的环节。数据可视化系统并不是为了展示用户的已知的数据之间的规律,而是为了帮助用户通过认知数据,有新的发现,发现这些数据所反映的实质。大数据可视化的实施是一系列数据的转换过程。