ubtuntu redis 集群部署/搭建官方原始方案

1. 安装ruby环境

Redis作者应该是个Ruby爱好者,Ruby客户端就是他开发的。这次集群的管理功能没有嵌入到Redis代码中,于是作者又顺手写了个叫做redis-trib的管理脚本。redis-trib依赖Ruby和RubyGems,以及redis扩展。可以先用which命令查看是否已安装ruby和rubygems,用gem list –local查看本地是否已安装redis扩展。

最简便的方法就是用apt或yum包管理器安装RubyGems后执行gem install redis。如果网络或环境受限的话,可以手动安装RubyGems和redis扩展(国外链接可能无法下载,可以从CSDN下载):

apt-get install ruby
gem install redis

2. 安装redis

参考文章:ubuntu 使用命令安装最新的redis版本

3. 创建集群文件及文件夹

mkdir redis-cluster
cd redis-cluster
mkdir 9000 9001 9002 9003 9004 9005

redis-cluster/
├── 9000
│   └── redis.conf.9000
├── 9001
│   └── redis.conf.9001
├── 9002
│   └── redis.conf.9002
├── 9003
│   └── redis.conf.9003
├── 9004
│   └── redis.conf.9004
└── 9005
    └── redis.conf.9005

结果如下图所示:


4. 拷贝redis.conf

ubuntu  redis配置文件路径

cd /etc/redis

 进入redis配置文件目录,将redis.conf复制redis-cluster文件夹中

cp redis.conf /home/user/redis-cluster

4.1主要修改信息如下:

  • 绑定地址:bind 127.0.0.1 # 绑定的ip 不能绑定到127.0.0.1、0.0.0.0或localhost,否则指导客户端重定向时会报”Connection refused”的错误。

  • 绑定端口号:port 9000  # 端口号和文件夹名一样

  • 备份文件名存储位置:dir /home/user/redis-cluster/9000 

  • 集群超时时间:cluster-node-timeout 15000。    集群超时时间结点超时多久则认为它宕机了。

  • 开启集群:cluster-enabled yes 

  • 集群配置文件:cluster-config-file nodes-9000.conf  这个配置文件不是要我们去配的,而是Redis运行时保存配置的文件,所以我们也不可以修改这个文件。

  • 后台运行:appendonly yes 

  • 槽是否全覆盖:cluster-require-full-coverage no。默认是yes,只要有结点宕机导致16384个槽没全被覆盖,整个集群就全部停止服务,所以一定要改为no

  • 输出日志:logfile “./redis.log”

不同信息在redis.conf位置:

4.2 ip绑定 绑定本机ip

4.2修改端口号

4.3 开启

4.4 数据存储位置

dbfilename 备份文件名

4.5 开启集群

4.6 集群配置文件

然后分别将redis0cluster中redis.conf配置文件复制到新建的6个文件夹中(9000,9001,9002,9003,9004,9005)

复制redis.conf配置文件

cp redis.conf /home/user/redis-cluster/9000
cp redis.conf /home/user/redis-cluster/9001
cp redis.conf /home/user/redis-cluster/9002
cp redis.conf /home/user/redis-cluster/9003
cp redis.conf /home/user/redis-cluster/9004
cp redis.conf /home/user/redis-cluster/9005

5. 分别启动redis-server

redis-server /home/user/redis-cluster/9000/redis.conf 
redis-server /home/user/redis-cluster/9001/redis.conf 
redis-server /home/user/redis-cluster/9002/redis.conf 
redis-server /home/user/redis-cluster/9003/redis.conf 
redis-server /home/user/redis-cluster/9004/redis.conf 
redis-server /home/user/redis-cluster/9005/redis.conf

6. 查看redis-server是否正常启动

ps -ef|grep redis-server

结果如下

7. 创建redis集群

redis-trib.rb(能否创建集群主要靠它)存放的路径

cd /usr/share/doc/redis-tools/examples/

复制redis-trib.rb到指定目录

cp redis-trib.rb /home/user/redis-cluster/

redis集群启动

启动集群命令

./redis-trib.rb create --replicas 1 127.0.0.1:9000 127.0.0.1:9001 127.0.0.1:9002 127.0.0.1:9003 127.0.0.1:9004 127.0.0.1:9005

结果如下:

>>> ./redis-trib.rb create --replicas 1 127.0.0.1:9000 127.0.0.1:9001 127.0.0.1:9002 127.0.0.1:9003 127.0.0.1:9004 127.0.0.1:9005
>>> Creating cluster  # 自动输入的命令
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
127.0.0.1:9000
127.0.0.1:9001
127.0.0.1:9002
Adding replica 127.0.0.1:9004 to 127.0.0.1:9000
Adding replica 127.0.0.1:9005 to 127.0.0.1:9001
Adding replica 127.0.0.1:9003 to 127.0.0.1:9002
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: 56b766b9e4b8447c2f0645e16b82283f6c7c11d7 127.0.0.1:9000
   slots:0-5460 (5461 slots) master
M: 89af1208bca79d22f9c051bb86d40de1ebaf92b4 127.0.0.1:9001
   slots:5461-10922 (5462 slots) master
M: c95629b3e17abaf3b0cef022359b49f4498a4d8a 127.0.0.1:9002
   slots:10923-16383 (5461 slots) master
S: 736a7abdbec3fd16bd610900cfed8ecd7f9b008b 127.0.0.1:9003
   replicates 56b766b9e4b8447c2f0645e16b82283f6c7c11d7
S: 5f94b10bfe0ba249767da82161bdfdb14b5092aa 127.0.0.1:9004
   replicates 89af1208bca79d22f9c051bb86d40de1ebaf92b4
S: 58481f44f290203a644503946b3d6f2b9bd53916 127.0.0.1:9005
   replicates c95629b3e17abaf3b0cef022359b49f4498a4d8a
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join....
>>> Performing Cluster Check (using node 127.0.0.1:9000)
M: 56b766b9e4b8447c2f0645e16b82283f6c7c11d7 127.0.0.1:9000
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
S: 736a7abdbec3fd16bd610900cfed8ecd7f9b008b 127.0.0.1:9003
   slots: (0 slots) slave
   replicates 56b766b9e4b8447c2f0645e16b82283f6c7c11d7
S: 5f94b10bfe0ba249767da82161bdfdb14b5092aa 127.0.0.1:9004
   slots: (0 slots) slave
   replicates 89af1208bca79d22f9c051bb86d40de1ebaf92b4
S: 58481f44f290203a644503946b3d6f2b9bd53916 127.0.0.1:9005
   slots: (0 slots) slave
   replicates c95629b3e17abaf3b0cef022359b49f4498a4d8a
M: 89af1208bca79d22f9c051bb86d40de1ebaf92b4 127.0.0.1:9001
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
M: c95629b3e17abaf3b0cef022359b49f4498a4d8a 127.0.0.1:9002
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

8. 连接集群

redis-cli -c -h 127.0.0.1 -p 9000

注意:如果遇到MOVED 5798错误

请阅读:http://www.chenxm.cc/post/695.html

8.1 关闭集群

ps -ef | grep redis | awk '{print $2}' | xargs kill

9. 简单测试

>>> redis-cli -c -h 192.168.3.99 -p 9000

127.0.0.1:9002> set foo bar
OK
127.0.0.1:9002> set hello world
-> Redirected to slot [866] located at 192.168.3.212:9000
OK
127.0.0.1:9000> get foo
-> Redirected to slot [12182] located at 192.168.3.212:9002
"bar"
127.0.0.1:9002> get hello
-> Redirected to slot [866] located at 192.168.3.212:9000
"world"

10 内部原理分析

前面我们已经学习过,用Redis提供的redis-trib或create-cluster脚本能几步甚至一步就建立起一个Redis集群。这一部分我们为了深入学习,所以要暂时抛开这些方便的工具,完全手动建立一遍上面的3主3从集群。

10.1 集群发现:MEET

最开始时,每个Redis实例自己是一个集群,我们通过cluster meet让各个结点互相“握手”。这也是Redis Cluster目前的一个欠缺之处:缺少结点的自动发现功能。

10.2 角色设置:REPLICATE

结点全部“握手”成功后,就可以用cluster replicate命令为结点指定角色了,默认每个结点都是Master。

10.3 槽指派:ADDSLOTS

设置好主从关系之后,就可以用cluster addslots命令指派16384个槽的位置了。有点恶心的是,ADDSLOTS命令需要在参数中一个个指明槽的ID,而不能指定范围。这里用Bash 3.0的特性简化了,不然就得用Bash的循环来完成了:

总结:

这是一篇完整的Redis集群部署,只要按照文章中的步骤做,那么保证你能成功搭建一个redis集群。

接下来可能就是动态扩容、增加节点和减少节点,重新分配槽大小等,当然,还有最重要的就是怎么和我们程序结合起来,以及如何更好的把 Redis 缓存集群发挥出应有的效果,这些才是最重要的。


参考:https://blog.csdn.net/dc_726/article/details/48552531

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读1.3k次。在 Redis 中,键(Keys)是非常重要的概念,它们代表了存储在数据库中的数据的标识符。对键的有效管理和操作是使用 Redis 数据库的关键一环,它直接影响到数据的存取效率、系统的稳定性和开发的便利性。本文将深入探讨 Redis 中键的管理和操作,包括键的命名规范、常用的键操作命令以及一些最佳实践。我们将详细介绍如何合理命名键、如何使用键的过期和持久化特性、如何批量删除键等技巧,旨在帮助读者更好地理解并灵活运用 Redis 中的键,从而提高数据管理和操作的效率和可靠性。
文章浏览阅读3.3k次,点赞44次,收藏88次。本篇是对单节点的应用,但从中我们也能推断出一些关于集群的应用,不过大多数公司能搞个主从就已经是不错了,所以你能学会这个已经算是很有用了,关于ES,博主前面也讲过一些基础应用,创建一个工具类利用ES的数据模型进行存储就可以达到一个canal同时对Redis和ES的同步,如果担心出问题,可以把Canal搞成集群的形式,这个后续有时间博主再给大家做讲解。今天就到这里了,觉得不错就支持一下吧。_canal redis
文章浏览阅读8.4k次,点赞8次,收藏18次。Spring Boot 整合Redis实现消息队列,RedisMessageListenerContainer的使用,Pub/Sub模式的优缺点_springboot redis 消息队列
文章浏览阅读978次,点赞25次,收藏21次。在Centos上安装Redis5.0保姆级教程!_centos7 安装redis5.0服务器
文章浏览阅读1.2k次,点赞21次,收藏22次。Docker-Compose部署Redis(v7.2)主从模式首先需要有一个redis主从集群,才能接着做redis哨兵模式。_warning: sentinel was not able to save the new configuration on disk!!!: dev
文章浏览阅读2.2k次,点赞59次,收藏38次。合理的JedisPool资源池参数设置能为业务使用Redis保驾护航,本文将对JedisPool的使用、资源池的参数进行详细说明,最后给出“最合理”配置。_jedispool资源池优化
文章浏览阅读1.9k次。批量删除指定前缀的Key有两中方法,一种是借助 redis-cli,另一种是通过 SCAN命令来遍历所有匹配前缀的 key,并使用 DEL命令逐个删除它们。_redis删除前缀的key
文章浏览阅读890次,点赞18次,收藏20次。1. Redis时一个key-cakye的数据库,key一般是String类型,不过value类型有很多。eg.String Hash List Set SortedSet (基本) | GEO BitMap HyperLog (特殊)2.Redis为了方便学习,将操作不同类型的命令做了分组,在官网可以进行查询。
文章浏览阅读1.1k次,点赞19次,收藏26次。若不使用Redisson,而是用synchronized(this),此时会造成对服务器的加锁,若开始大量查询ID为1的商品,每台机器都会先跑一遍加个锁,然后在查询ID为2的数据,此时需要等待ID为1的锁释放,所以需要将this对象调整为全局商品ID。若在执行bgsave命令时,还有其他redis命令被执行(主线程数据修改),此时会对数据做个副本,然后bgsave命令执行这个副本数据写入rdb文件,此时主线程还可以继续修改数据。在当前redis目录下会生成aof文件,对redis修改数据的命令进行备份。
文章浏览阅读1.5k次,点赞39次,收藏24次。本文全面剖析Redis集群在分布式环境下的数据一致性问题,从基础原理到高级特性,涵盖主从复制、哨兵模式、持久化策略等关键点,同时也分享了关于监控、故障模拟与自适应写一致性策略的实践经验。_redis集群一致性
文章浏览阅读1k次。RDB因为是二进制文件,在保存的时候体积也是比较小的,它恢复的比较快,但是它有可能会丢数据,我们通常在项目中也会使用AOF来恢复数据,虽然AOF恢复的速度慢一些,但是它丢数据的风险要小很多,在AOF文件中可以设置刷盘策略,我们当时设置的就是每秒批量写入一次命令。AOF的含义是追加文件,当redis操作写命令的时候,都会存储这个文件中,当redis实例宕机恢复数据的时候,会从这个文件中再次执行一遍命令来恢复数据。:在Redis中提供了两种数据持久化的方式:1、RDB 2、AOF。
文章浏览阅读1k次,点赞24次,收藏21次。NoSQL(No only SQL)数据库,泛指非关系型数据库,实现对于传统数据库而言的。NoSQL 不依赖业务逻辑方式进行存储,而以简单的 key-value 模式存储。因此大大增加了数据库的扩展能力。不遵循SQL标准不支持ACID远超于SQL的性能Redis是当前比较热门的NOSQL系统之一,它是一个开源的使用ANSI c语言编写的key-value存储系统(区别于MySQL的二维表格的形式存储。
文章浏览阅读988次,点赞17次,收藏19次。在上面的步骤中,我们已经开启了 MySQL 的远程访问功能,但是,如果使用 MySQL 管理工具 navicat 连接 MySQL 服务端时,还是可能会出现连接失败的情况。在实际工作中,如果我们需要从其他地方访问和管理 MySQL 数据库,就需要开启 MySQL 的远程访问功能并设置相应的权限。这对于我们的工作效率和数据安全都有很大的帮助。通过查看 MySQL 用户表,我们可以看到’host’为’%’,说明 root 用户登录 MySQL 的时候,可以允许任意的 IP 地址访问 MySQL 服务端。
文章浏览阅读956次。Redis Desktop Manager(RDM)是一款用于管理和操作Redis数据库的图形化界面工具。提供了简单易用的界面,使用户能够方便地执行各种Redis数据库操作,并且支持多个Redis服务器的连接_redisdesktopmanager安装包
文章浏览阅读1.9k次,点赞52次,收藏27次。缓存击穿指的是数据库有数据,缓存本应该也有数据,但是缓存过期了,Redis 这层流量防护屏障被击穿了,请求直奔数据库。缓存穿透指的是数据库本就没有这个数据,请求直奔数据库,缓存系统形同虚设。缓存雪崩指的是大量的热点数据无法在 Redis 缓存中处理(大面积热点数据缓存失效、Redis 宕机),流量全部打到数据库,导致数据库极大压力。
文章浏览阅读1.2k次。一次命令时间(borrow|return resource + Jedis执行命令(含网络) )的平均耗时约为1ms,一个连接的QPS大约是1000,业务期望的QPS是50000,那么理论上需要的资源池大小是50000 / 1000 = 50个,实际maxTotal可以根据理论值合理进行微调。JedisPool默认的maxTotal=8,下面的代码从JedisPool中借了8次Jedis,但是没有归还,当第9次(jedisPool.getResource().ping())3、发生异常可能的情况。_redis.clients.jedis.exceptions.jedisconnectionexception: could not get a res
文章浏览阅读1k次,点赞27次,收藏18次。在这篇文章中,你将了解到如何在 CentOS 系统上安装 Redis 服务,并且掌握通过自定义域名来访问 Redis 服务的技巧。通过使用自定义域名,你可以方便地管理和访问你的 Redis 数据库,提高工作效率。无论你是开发者、系统管理员还是对 Redis 感兴趣的读者,这篇文章都会为你提供清晰的指导和实用的技巧。阅读本文,轻松搭建自己的 Redis 服务,并体验自定义域名带来的便捷!_redis怎么自定义域名
文章浏览阅读1.1k次,点赞15次,收藏18次。我们post请求,拦截器要预先读取HtppServletRequest里面的body的数据,是通过io的方式,都知道io读取完毕之后,之前的数据是变为null的,但是,当我么后面的接口来委派的时候,也是通过io读取body。我们要考虑一个事情,就是我们要验证数据的重复提交: 首先第一次提交的数据肯定是要被存储的,当而第二次往后,每次提交数据都会与之前的数据产生比对从而验证数据重复提交,我们要具体判断数据是否重复提交的子类。发现数据是成功存入的,剩余7s过期,在10s之内,也就是数据没过期之前,在发送一次。_json.parseobject(str, clazz, auto_type_filter);
文章浏览阅读3.9k次,点赞3次,收藏7次。PHP使用Redis实战实录系列:我们首先检查$redis->connect()方法的返回值来确定是否成功连接到Redis服务器。如果连接失败,我们可以输出相应的错误信息。如果连接成功,我们再执行一些操作,如$redis->set()、$redis->get()等,并检查每个操作的返回结果来判断是否发生了异常。_php redis
文章浏览阅读1.5w次,点赞23次,收藏51次。Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。Redis 是一个高性能的key-value数据库。redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部 分场合可以对关系数据库起到很好的补充作用。_redisdesktopmanager下载