NoSQL之Redis

分类：菜鸟笔记作者：weixin_46514551

文章目录

NoSQL之Redis

一、关系数据库和非关系数据库

1、关系型数据库

  • 关系型数据库是一个结构化的数据库，创建在关系模型上（二维关系表模型）基础上
  • 一般面向于记录
  • 主流的关系型数据库包括orecle、MySQL、SQL Server、Microsoft、DB2等
  • SQL语句（标准数据查询语言）就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的检索和操作

2、非关系型数据库

  • NoSQL（NoSQL＝Not Only SQL），意识是“不仅仅是SQL”，是非关系型数据库的总称
  • 除了主流的关系型数据库外的数据库，都认为是非关系型
  • 主流的NoSQL数据库有Redis、MongDB、Hbase、Memcached等

3、区别

3.1 数据存储方式不同

关系型和非关系数据库的主要差异就是数据存储的方式。

关系型数据天然就是表格形式，因此存储在数据表的行列中。

数据表可以彼此关联协作存储，也很容易提取数据。

与其相反，非关系型数据不适合存储在数据表的行和列中，而是大块组合在一起。

非关系型数据通常存储在数据集中，就像文档、键值对或者图结构。

你的数据及其特性是选择数据存储和提取方式的首要影响因素。

3.2 扩展方式不同
  • SQL和NoSQL数据库最大的差别可能是在扩展方式上，要支持日益增长的需求当然要扩展。
  • 需要支持更多并发量，SQL数据库是纵向扩展，也就是说提高处理能力，使用更快速的计算机，这样处理相同的数据集就更快了。
  • 因为数据存储在关系表中，操作的性能瓶颈可能涉及很多个表，这都是需要通过提高计算机性能来克服。虽然SQL数据库有很大扩展空间，但最终肯定会达到纵行扩展的上限。
  • 而NoSQL数据库是横向扩展的。
  • 因为非关系数据存储天然就是分布式的，NoSQL数据库的扩展可以通过给资源池添加更多普通的数据库服务器（节点）来分担负载。

4、非关系型数据的产生背景

  • 关系型数据库和非关系数据库都有各自的特点与应用场景，两者的紧密结合将会给Web2.0的数据库发展带来型的思路。

  • 关系数据库关注在关系上，非关系型数据库关主存储上。

  • 在读写分离的MySQL数据库环境中，可以把经常访问的数据存储在非关系数据库中，提高访问速度。

  • 需求驱动发展：

    • 对数据库高并发读写的需求。
    • 对海量数据高效存储与访问的需求。
    • 对数据库高扩展性和高可用性的需求。

5、概念小结

  • 关系型数据库：
    • 实例->数据库->表（table）->记录行（row）、数据字段（column）
  • 非关系型数据库：
    • 实例->数据库->集合（collection）->键值对（key-value）
  • 非关系型数据库不需要手动建数据库和集合（表）

二、Redis简介

1、Redis概述

Redis是一个开源的、使用C语言编写的NoSQL数据库

Redis基于内存运行并支持持久化，采用key-value（键值对）的存储形式，是目前分布式架构中不可活缺的一环

Redis服务器程序是单进程模型，也就是说，在一台服务器上可以同时启动多个Redis进程，但Redis的实际处理速度则是完全依靠与主进程的执行效率

若在服务器上只运行一个Redis进程，但有多个客户端同时访问时，服务器的处理能力会有一定程度的下降

若在同一台服务器上开启多个Redis进程，Redis在提高并发处理能力的同时而会给服务器的CPU造成很大压力。

总结：在实际生产环境中，需要根据实际的需求来决定开启多少个Redis进程，若对高并发要求更高一些，可能会考虑在同一台服务器上开启多个Redis进程，而若CPU资源比较禁止，采用单进程使用。

2、Redis应用场景

1、热点数据缓存

热点数据（经常会被查询，但是不经常被修改或者删除的数据），由于redis访问速度快、支持的数据类型比较丰富，首选是使用redis缓存。

2、分布式锁

3、Redis的优点

具有极高的数据读写速度：数据读取的速度最高可达110000次/s，数据写入速度最高可达81000次/s。

支持丰富的数据类型：支持key-value、String、Lists、Hashes、Sets及Ordered Sets等数据类型操作。

支持数据的持久化：可以讲内存中更多数据保存在磁盘中，重启的时候可以再次加载进行使用

原子性：Redis所有操作都是原子性

支持数据备份：即master-salve模式的数据备份

Redis作为基于内存运行的数据库，缓存是其最常应用的场景之一
除此之外，Redis常见应用场景还包括获取最新N个数据的操作、排行榜类应用、计数器应用、存储关系、实时分析系统、日志记录。

4、Redis的缺点

  • 3.1 缓存和数据库双写一致性问题

在分布式环境下，缓存和数据库很容易出现数据一致性问题，如果项目对缓存的要求强一致性，那么不建议使用缓存。

在使用缓存中，使用策略降低缓存与数据库一致性的概率，是无法保障两者的强一致性，一般策略包括缓存更新机制，更新数据库后及时跟新缓存、缓存失败时增加重试机制等。

  • 3.2 缓存雪崩

缓存雪崩时指大量的应用请求无法在Redis缓存中进行处理，紧接着，应用将大量请求发送到数据库层，导致数据库层的压力激增。

具体解决方案思路：

  • **事故前：**redis高可用方案，主从+哨兵，集群方案，避免全盘崩溃。
  • 事故中：减少数据库压力，本地Ehcache缓存+限流及降级，避免超过数据库承受压力，实在不行，服务熔断。
  • **事故后：**做redis持久化，可以实现热点数据不丢失，造成请求缓存缺失。

原因有二：

原因一：缓存中有大量数据同时过期，导致大量请求无法得到处理。

在数据保存在缓存中，并且设置了过期时间，如果出现同一时间大量数据过滤器，又有请求范围这些数据，就会发送缓冲缺失，然后就会去请求数据库，重数据库中读取，如果应用的并发请求量很大，那么数据库的压力也就很大。

解决方法：

  • 避免给大量的数据设置相同的过期时间，设置随机的过期时间。
  • **通过服务器降级：**针对不同的数据采用不同的处理方式，当请求访问的时非核心数据时，暂时停止从缓冲查询数据，而是直接返回预定义值或空值等；当请求访问的是核心数据时，扔允许查询缓冲，如果缓冲缺失，可以继续通过数据库读取。

原因二：Redis缓冲实例发生故障宕机

解决方法：

  • 在业务系统中实现服务熔断：所谓服务熔断，是指发生缓冲雪崩时，为了防止发生连锁的数据库雪崩，导致整个系统的崩溃，我们暂停业务应用对缓冲系统的接口访问。直白点就是，缓冲接口不在把请求发给Redis缓冲实例，而是直接返回，等到Reids实例恢复后重启服务。

  • **请求限流机制：**不同于服务熔断，不会暂停整个缓冲系统的访问，请求限流，会在业务系统的请求入口前端控制每秒进入系统的请求数，避免过多的请求访问数据库，减少大量并发请求压力传递到数据库。

  • 事前预防：可以通过搭建Redis缓存主从集群（哨兵或集群模式），可以做到主从Redis缓存的切换，实现Reids服务不终断。

  • 3.3 缓存穿透

缓存穿透时指，用户发出大量访问缓存和数据库中没有的数据，导致请求直接查询数据库，这种行为会直接导致数据库挂掉。

两个原因：

  1. 业务层误操作：缓存中的数据和数据库中的数据被误删除了，所以缓存和数据库中都没有数据；
  2. 恶意攻击：专门访问数据库中没有的数据。

解决方法：

  • 在请求接口层可以进行校验（用户签名和授权，参数校验），拒绝不合法的请求。

  • 布隆过滤器：在控制层对请求先进行校验，不符合条件的请求则被丢弃，从而避免对持久层数据库造成的查询压力。

  • 缓存空对象：当查询的数据不存在于redis中时，请求到了持久层数据库中去查询数据，但查询不出数据，这时会返回空对象，同时把该空对象缓存到redis里，然后设置一个过期时间，往后只要再次请求查询该条数据，该条数据都会从redis中获取(获取redis返回的空对象)，从而保护了后端的数据源。

  • 3.4 缓存击穿

redis缓存击穿概念是redis里的一个key非常热点，导致大并发集中对这个key不断的进行访问，当在这个key过期的瞬间，持续的大并发就会跳过缓存，直接作用在持久层数据库上，请求在访问持久层数据库查询数据的同时，持久层数据库也需要回写缓存，这时候就会导致持久层数据库瞬间压力过大导致服务器宕机，这种现象就叫做缓存击穿。

解决方法：

不同场景下缓存击穿解决方案：

  • 数据基本不变：热点数据value基本不更新时，可以设置成永不过期
  • 数据更新不频繁：缓存刷新流程耗时较少时，可采用redis、zookeeper等分布式中间件的分布式互斥锁或者本地互斥锁保证少量的请求能请求到数据库并重新更新缓存，其他的流程等锁释放后才可以访问新缓存
  • 数据更新频繁：采用定时线程，在缓存过期前主动重新构建缓存或延长过期时间，保证所有的请求能一直访问缓存

5、Redis和ElasticSearch的区别

三、Redis安装部署

1、解压软件包

Redis官网：https://redis.io/

  • 将下载好的软件包传至 /opt/ 目录下
systemctl stop firewalld
systemctl disable firewalld
setenforce 0

yum -y install gcc gcc-c++ make

cd /opt
tar zxvf redis-5.0.7.tar.gz -C /opt/

2、源码编译安装

cd redis-5.0.7/
make -j 4
make PREFIX=/usr/local/redis install

#由于 Redis 源码包中直接提供了 Makefile 文件，所以在解压完软件包后，不用先执行./configure 进行配置
#可直接执行 make 与 make install 命令进行安装

3、设置Redis相关配置文件

cd /opt/redis-5.0.7/utils/

#执行软件包提供的 install_server.sh 脚本文件来设置 Redis 服务所需要的相关配置文件
./install_server.sh
......
Please select the redis executable path [/usr/local/bin/redis-server] /usr/local/redis/bin/redis-server
#一直回车，直到出现以下选项，手动修改为“/usr/local/redis/bin/redis-server”
#注意，需要一次性正确输入，且输入错误了是无法更改的

image-20220818195928045

关键字 内容 说明
Port： 6379 默认侦听端口为 6379
Config file： /etc/redis/6379.conf 配置文件路径
Log file： /var/log/redis_6379.log 日志文件路径
Data dir /var/lib/redis/6379 数据文件路径
Executable： /usr/local/redis/bin/redis-server 可执行文件路径
Cli Executable： /usr/local/bin/redis-cli 客户端命令工具 
ln -s /usr/local/redis/bin/* /usr/local/bin/
#把 redis 的可执行程序文件放入路径环境变量的目录中便于系统识别

netstat -natp | grep "redis"
#当 install_server.sh 脚本运行完毕，Redis 服务就已经启动，默认侦听端口为 6379

vim /etc/redis/6379.conf
#修改配置参数

bind 127.0.0.1 192.168.10.10       #70行，添加监听的主机地址
port 6379                           #93行，Redis 默认的监听端口
daemonize yes                       #137行，启用守护进程
pidfile /var/run/redis_6379.pid     #159行，指定 PID 文件
loglevel notice                     #167行，日志级别
logfile /var/log/redis_6379.log     #172行，指定日志文件

image-20220818200148655

image-20220818200520912

Redis 服务控制（命令行） 解释
/etc/init.d/redis_6379 stop 停止
/etc/init.d/redis_6379 start 启动
/etc/init.d/redis_6379 restart 重启
/etc/init.d/redis_6379 status 状态

四、Redis常用工具

1、Redis命令工具

命令行 解释
redis-server 用于启动Redis 的工具
redis- benchmark 用于检测Redis 在本机的运行效率
redis-check-aof 修复AOF持久化文件
redis-check-rdb 修复RDB 持久化文件
redis-cli Redis 命令行工具

2、Redis-cli命令工具

redis-cli -h host -p port -a password

image-20220818200926173

常用选项 解释
-h 指定远程主机
-p 指定 Redis 服务的端口号
-a 指定密码，未设置数据库密码可以省略此选项

若不添加任何选项表示，则使用 127.0.0.1:6379 连接本机上的 Redis 数据库。

3、Redis-benchmark 测试工具

redis-benchmark 是官方自带的 Redis 性能测试工具，可以有效的测试 Redis 服务的性能。

基本的测试语法：

redis-benchmark [选项] [选项值]
常用选项 解释
-h 指定服务器主机名
-p 指定服务器端口
-s 指定服务器 socket
-c 指定并发连接数
-n 指定请求数
-d 以字节的形式指定 SET/GET 值的数据大小
-k 1=keep alive，0=reconnect
-r SET/GET/INCR，使用随机 key，SADD 使用随机值
-p 通过管道传输请求
-q 强制退出 redis，仅显示 query/sec 值
–csv 以 CSV 格式输出
-l 生成循环，永久执行测试
-t 仅运行以逗号分隔的测试命令列表
-I Idle 模式，仅打开 N 个 idle 连接并等待 
redis-benchmark -h 192.168.10.10 -p 6379 -c 100 -n 100000
#向 IP 地址为 192.168.126.15，端口为 6379 的 Redis 服务器发送 100 个并发连接与 100000 个请求以测试性能

redis-benchmark -h 192.168.10.10 -p 6379 -q -d 100
#测试存取大小为 100 字节的数据包的性能

redis-benchmark -t set,lpush -n 100000 -q
#测试本机上 Redis 服务在进行 set 与 lpush 操作时的性能

image-20220818201951633

image-20220818202031483

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

redis数据库数据库

相关推荐

如何学习编程？新手菜鸟如何学编程？
学习编程是顺着互联网的发展潮流，是一件好事。新手如何学习编程？其实不难，不过在学习编程之前你得先了解你的目的是什么？这个很重要，因为目的决定你的发展方向、决定你的发展速度。
it行业都是什么工作？it行业主要做什么？
IT行业是什么工作做什么？IT行业的工作有：产品策划类、页面设计类、前端与移动、开发与测试、营销推广类、数据运营类、运营维护类、游戏相关类等，根据不同的分类下面有细分了不同的岗位。
女生学Java好就业吗？女生适合学Java编程吗？
女生学Java好就业吗？女生适合学Java编程吗？目前有不少女生学习Java开发，但要结合自身的情况，先了解自己适不适合去学习Java，不要盲目的选择不适合自己的Java培训班进行学习。只要肯下功夫钻研，多看、多想、多练
mysql-connect-confused
Can’t connect to local MySQL server through socket \'/var/lib/mysql/mysql.sock问题 1.进入mysql路径
oracle基本命令
oracle基本命令 一、登录操作 1.管理员登录 # 管理员登录 sqlplus / as sysdba 2.普通用户登录
shell判断服务是否启动
一、背景 因为项目中需要通北京网络，所以需要连vpn，但是服务器有时候会断掉，所以写个shell脚本每五分钟去判断是否连接，于是就有下面的shell脚本。
SQL BETWEEN 操作符
BETWEEN 操作符选取介于两个值之间的数据范围内的值。这些值可以是数值、文本或者日期。
​​windows上传ipa到开发者中心app store的方法
假如你已经使用过苹果开发者中心上架app，你肯定知道在苹果开发者中心的web界面，无法直接提交ipa文件，而是需要使用第三方工具，将ipa文件上传到构建版本，开...
SQL 入门篇之什么是别名？
下面的 SQL 语句指定了两个别名，一个是 name 列的别名，一个是 country 列的别名。**提示：**如果列名称包含空格，要求使用双引号或方括号：
windows上传ipa文件到app store的方法​
在使用H5混合开发的app打包后，需要将ipa文件上传到appstore进行发布，就需要去苹果开发者中心进行发布。​
SQL AND & OR 运算符
+----+--------------+---------------------------+-------+---------+
C++ 数组
数组的声明并不是声明一个个单独的变量，比如 number0、number1、...、number99，而是声明一个数组变量，比如 numbers，然后使用 nu...
最全iOS 应用上架流程提交到AppStore
第一步：到appuploader官网下载辅助工具和iCloud驱动，使用前面创建的AppID登录。
SQL ALTER TABLE 语句
如需删除表中的列，请使用下面的语法（请注意，某些数据库系统不允许这种在数据库表中删除列的方式）：
dism操作巨慢
前不久在制作win11pe，制作了一版，1.26GB，太大了，不满意，想再裁剪下，发现这次dism mount正常，commit或discard巨慢，以前都很快...
三种方法卸载Symantec Endpoint Protection 赛门铁克
赛门铁克各个版本概览：https://knowledge.broadcom.com/external/article?legacyId=tech163829
python3.6、python3.10用什么版本的pip
实测Python 3.6.6用pip 21.3.1，再高就报错了，Python 3.10.7用pip 22.3.1是可以的
博通和诺顿
Broadcom Corporation （博通公司，股票代号AVGO）是全球领先的有线和无线通信半导体公司。其产品实现向家庭、 办公室和移动环境以及在这些环境...
高版本c4d在低版本windows系统上打开后不显示窗格
发现个问题，server2016上安装了c4d这些版本，低版本的正常显示窗格，但红色圈出的高版本c4d打开后不显示窗格，
基础网络windows不要使用TAT、如何卸载TAT
TAT：https://cloud.tencent.com/document/product/1340
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot