跟我一起学Redis之看完这篇比常人多会三种类型实战(又搞了几个小时)

前言

对于Redis而言,很多小伙伴只关注其关键的五大基础类型:string、hash、list、set、sorted set(有序集合),其实还有三种特殊类型在很多应用场景也比较适合使用,分别是:bitmap、geospatial、hyperloglog;上一篇(跟我一起学Redis之五种基本类型及其应用场景举例(干了6个小时))对五种类型进行分享,接下来结合应用场景来说说三种特殊类型的使用方式;

正文

geospatial(地理空间)

该类型在Redis3.2.0版本中加入,其本质是将经纬度通过geohash技术转换成一个值,使用sorted set将其存储;具体内部实现在这里不进行研究,这次主要说应用。

经度(longitude)、维度(latitude)小伙伴肯定不陌生(流泪,当初地理差的一批):

  • 有效的经度是-180度到180度;
  • 有效的纬度是-85.05112878度到85.05112878度;

该类型只有六个命令,先简单介绍一下各命令的功能和关键参数:

  1. GEOADD:添加地理空间位置信息,即经纬度信息;

    GEOADD key 经度1 维度1 member1 [经度2 维度2 member2 ...]

  2. GEODIST:获取指定位置之间的距离,默认单位为米;

    GEODIST key member1 member2 [单位]

    单位可以指定,如下几种:

    m:指定单位为米;

    km:指定单位为千米;

    mi:指定单位为英里;

    ft:指定单位为英尺;

  3. GEOHASH:返回11个字符的Geohash字符串,字符串越相似,位置越接近;一般底层调试使用的比较多。

    GEOHASH key member1 [member2 ...]

  4. GEOPOS:返回指定一个或多个位置元素的位置信息,即经纬度信息;

    GEOPOS key member1 [member2 ...]

  5. GEORADIUS:以指定的经纬度为圆心,查找指定半径范围的位置元素;

    GEORADIUS key 经度 维度 半径 m|km|ft|mi [WITHCOORD] [WITHDIST] [WITHHASH] [COUNT count]

    半径后面指定一个单位,m|km|ft|mi指定其中一个;

    WITHDIST:在返回查找到位置元素, 同时对应位置元素与中心之间的距离也一并返回。

    WITHCOORD:将位置元素的经度和维度也一并返回。

    WITHHASH:以 52 位有符号整数的形式返回, 返回位置元素经过原始 geohash 编码的有序集合分值,即一串字符串;

    COUNT:代表返回位置信息的条数,类似于分页条数;

  6. GEORADIUSBYMEMBER:指定的对应位置元素为圆心,查找指定半径范围的位置元素;GEORADIUS命令是通过指定经纬度为圆心,其他使用方式一致;

    GEORADIUSBYMEMBER key member 半径 m|km|ft|mi [WITHCOORD] [WITHDIST] [WITHHASH] [COUNT count]

命令功能及参数说明就简单说这么多(我怕说理论),欲知详情,请小伙伴去官网瞅瞅;

image-20201019093649291

接下来结合应用场景进行命令实战,不然小伙伴要忍不住啦↓↓↓

应用场景实战1

绿色出行,小黄、小蓝、青桔、哈罗各种共享自行车应该已经是很多小伙伴们出行必用了吧,来,先截个哈罗的图看看:

img

图中显示定位附近的小车,小伙伴可以先想想,如果这个需求给自己,怎么实现?

img

如果用Redis,这样搞试试:

每一辆共享单车肯定有定位功能,将其定位信息(经纬度)存储到后台管理系统中,这里我们模拟定位信息存储,我们用百度地图坐标拾取器可以取得地图上任意一点的经纬度信息,如下图:

img

网页地址为:http://api.map.baidu.com/lbsapi/getpoint/index.html

模拟共享单车定位信息存储到后台Redis:

img

当我们打开手机时,App同样会通过手机进行定位,比如得到对应位置的经纬度信息为:113.768365(经度),34.724814(纬度),这样就可以指定用户的定位信息为中心,去查找附近指定半径的单车,然后将其标注在地图上:

img

应用场景实战2

再来一个需求,比如说微信附近的人,直播APP附近直播的播友,还有某陌附近的美女,如下图:

img

如果用Redis实现,同样是通过APP(比如微信)将用户的定位信息保存到后台Redis中,这里还是使用百度地图拾取器的方式取得位置信息模拟将定位信息保存在Redis:

img

附近餐馆、附近加油站、附近酒店同样的原理,最后关于具体的信息可以通过得到信息(比如说用户ID、共享单车标识等)去存储详细信息的数据库中查询。

bitmap

bitmap在Redis2.2.0版本加入,其并不是一种实际的数据类型,而是在字符串类型基础上定义的一组面向位的操作。因为字符串是二进制安全的blob,对应value能存储的最大长度是512 MB,即可以设置2^32个不同的位;大概的结构如下:**
**

img

实践出真理,看看其类型到底是不是string类型:

img

image-20201019093607397

常用命令如下:

  • SETBIT:设置指定key中指定位置(offset)的值(0 或 1);

    SETBIT key offset value

  • GETBIT:获取指定key中指定位置(offset)的值,未设置过默认返回0;

    GETBIT key offset

  • BITCOUNT:统计指定key位置为1的数量,可以指定区间(这里的区间以字节(byte)为单位);

    BITCOUNT key [start end]

  • BITOP:进行位运算,支持四种表达式运算: AND(交集),OR(并集),XOR(异或)和NOT(取非);

    BITOP operation destkey key [key ...]

    operation 可以指定对应的运算方式,运算的结果存入destkey中;

  • BITPOS:返回指定key中指定值的第一个位置;

    BITPOS key bit [start] [end]

模拟应用场景实战:

bitmap由于存储的值只能是0或1,所以很适合两种状态的数据记录和分析,比如说是否签到,是否登录,然后通过签到记录的数据可以统计周、月、年签到数,通过登录的数据可以分析用户是否活跃;

应用场景用户签到

比如某多多连续签到送现金、运动打卡App(比如Keep)、学习打卡App或者小程序,都会有对打卡数据的统计,如下图某音极速版连续签到送积分:

img

如果用Redis实现,如下:

img

应用场景用户登录即用户活跃分析:

img

如下统计逻辑:

img

bitmap适合数据量比较大的场景,如果数据几十上千,用bitmap反而相对比较占空间,直接使用用户ID作为Key使用set存储,但是如果数据量大时,Key值所占空间比较大,比较浪费,而bitmap用512M内存就能标识40亿数据状态;当然,不介意bitmap的位数很大,设置或分析数据的时候可能会导致堵塞,所以当位数很大时,建议将其拆分为多个Key,保证分析的高效。

先休息一下,晃晃头,眨巴眨巴眼睛,然后继续往下↓↓↓

img

hyperloglog

先说说什么是基数?

基数(cardinal number)在数学上,是集合论中刻画任意集合大小的一个概念。两个能够建立元素间一一对应的集合称为互相对等集合。例如3个人的集合和3匹马的集合可以建立一一对应,是两个对等的集合。

百度百科

比如数据集 {1,3,5,7,8}, 那么这个数据集的基数集为 {1,8},基数(不重复元素)为5。 基数估计就是在误差可接受的范围内,快速计算基数。

菜鸟教程

通俗一点就是不重复元素的个数(这是个人通俗的理解),先到这,实战再来回顾这句话;

hyperloglog是一种概率数据统计结构,适合超大数据量的基数统计,速度快,而且空间占用小,;但是统计的结果存在低于1%的误差,如果需要的是精确统计的话,使用基础类型set进行统计也不错,但当统计元素比较多时,内存占用空间会增大,毕竟用空间换精确度嘛。

和bitmap感觉很像,都适合大数据量的统计,但是bitmap还关注统计对象,比如说谁签到多少次,而hyperloglog只进行基数统计,不关注是谁进行签到;比如常听到UV统计场景,即一个页面,一个用户访问多次,也只算一次,最后只关注这个页面被多少用户访问,而不在乎是谁访问;微信公众号文章的统计也是针对用户统计的,同一个用户不管访问几次,只算一次阅读;

image-20201019093525527

常用命令:

  • PFADD:添加元素到指定HyperLogLog;

    PFADD key element [element ...]

  • PFCOUNT:返回指定HyperLogLog的基数估算值;

    PFCOUNT key [key ...]

    如果指定多个HyperLogLog ,返回它们并集近似基数,存在低于1%的误差;

  • PFMERGE:将多个 HyperLogLog 合并为一个 HyperLogLog ;

    PFMERGE destkey sourcekey [sourcekey ...]

模拟应用场景

模拟页面UV统计,即用户访问数,不注重是谁访问:

img

模拟App应用市场下载数,比如某音下载量都好几亿了,这个肯定不关心是谁下载吧,只关心下载数量来衡量应用参数;

img

总结

先到这吧,这篇总耗时又搞了几个小时,上文中应用场景模拟只是给小伙伴提供思路,小伙伴可以根据需求进行设计;下一遍说说配置文件;

image-20201019093447158

一个被程序搞丑的帅小伙,关注"Code综艺圈",识别关注跟我一起学~~~

撸文不易,莫要白瞟,三连走起~~~~

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读1.3k次。在 Redis 中,键(Keys)是非常重要的概念,它们代表了存储在数据库中的数据的标识符。对键的有效管理和操作是使用 Redis 数据库的关键一环,它直接影响到数据的存取效率、系统的稳定性和开发的便利性。本文将深入探讨 Redis 中键的管理和操作,包括键的命名规范、常用的键操作命令以及一些最佳实践。我们将详细介绍如何合理命名键、如何使用键的过期和持久化特性、如何批量删除键等技巧,旨在帮助读者更好地理解并灵活运用 Redis 中的键,从而提高数据管理和操作的效率和可靠性。
文章浏览阅读3.3k次,点赞44次,收藏88次。本篇是对单节点的应用,但从中我们也能推断出一些关于集群的应用,不过大多数公司能搞个主从就已经是不错了,所以你能学会这个已经算是很有用了,关于ES,博主前面也讲过一些基础应用,创建一个工具类利用ES的数据模型进行存储就可以达到一个canal同时对Redis和ES的同步,如果担心出问题,可以把Canal搞成集群的形式,这个后续有时间博主再给大家做讲解。今天就到这里了,觉得不错就支持一下吧。_canal redis
文章浏览阅读8.4k次,点赞8次,收藏18次。Spring Boot 整合Redis实现消息队列,RedisMessageListenerContainer的使用,Pub/Sub模式的优缺点_springboot redis 消息队列
文章浏览阅读978次,点赞25次,收藏21次。在Centos上安装Redis5.0保姆级教程!_centos7 安装redis5.0服务器
文章浏览阅读1.2k次,点赞21次,收藏22次。Docker-Compose部署Redis(v7.2)主从模式首先需要有一个redis主从集群,才能接着做redis哨兵模式。_warning: sentinel was not able to save the new configuration on disk!!!: dev
文章浏览阅读2.2k次,点赞59次,收藏38次。合理的JedisPool资源池参数设置能为业务使用Redis保驾护航,本文将对JedisPool的使用、资源池的参数进行详细说明,最后给出“最合理”配置。_jedispool资源池优化
文章浏览阅读1.9k次。批量删除指定前缀的Key有两中方法,一种是借助 redis-cli,另一种是通过 SCAN命令来遍历所有匹配前缀的 key,并使用 DEL命令逐个删除它们。_redis删除前缀的key
文章浏览阅读890次,点赞18次,收藏20次。1. Redis时一个key-cakye的数据库,key一般是String类型,不过value类型有很多。eg.String Hash List Set SortedSet (基本) | GEO BitMap HyperLog (特殊)2.Redis为了方便学习,将操作不同类型的命令做了分组,在官网可以进行查询。
文章浏览阅读1.1k次,点赞19次,收藏26次。若不使用Redisson,而是用synchronized(this),此时会造成对服务器的加锁,若开始大量查询ID为1的商品,每台机器都会先跑一遍加个锁,然后在查询ID为2的数据,此时需要等待ID为1的锁释放,所以需要将this对象调整为全局商品ID。若在执行bgsave命令时,还有其他redis命令被执行(主线程数据修改),此时会对数据做个副本,然后bgsave命令执行这个副本数据写入rdb文件,此时主线程还可以继续修改数据。在当前redis目录下会生成aof文件,对redis修改数据的命令进行备份。
文章浏览阅读1.5k次,点赞39次,收藏24次。本文全面剖析Redis集群在分布式环境下的数据一致性问题,从基础原理到高级特性,涵盖主从复制、哨兵模式、持久化策略等关键点,同时也分享了关于监控、故障模拟与自适应写一致性策略的实践经验。_redis集群一致性
文章浏览阅读1k次。RDB因为是二进制文件,在保存的时候体积也是比较小的,它恢复的比较快,但是它有可能会丢数据,我们通常在项目中也会使用AOF来恢复数据,虽然AOF恢复的速度慢一些,但是它丢数据的风险要小很多,在AOF文件中可以设置刷盘策略,我们当时设置的就是每秒批量写入一次命令。AOF的含义是追加文件,当redis操作写命令的时候,都会存储这个文件中,当redis实例宕机恢复数据的时候,会从这个文件中再次执行一遍命令来恢复数据。:在Redis中提供了两种数据持久化的方式:1、RDB 2、AOF。
文章浏览阅读1k次,点赞24次,收藏21次。NoSQL(No only SQL)数据库,泛指非关系型数据库,实现对于传统数据库而言的。NoSQL 不依赖业务逻辑方式进行存储,而以简单的 key-value 模式存储。因此大大增加了数据库的扩展能力。不遵循SQL标准不支持ACID远超于SQL的性能Redis是当前比较热门的NOSQL系统之一,它是一个开源的使用ANSI c语言编写的key-value存储系统(区别于MySQL的二维表格的形式存储。
文章浏览阅读988次,点赞17次,收藏19次。在上面的步骤中,我们已经开启了 MySQL 的远程访问功能,但是,如果使用 MySQL 管理工具 navicat 连接 MySQL 服务端时,还是可能会出现连接失败的情况。在实际工作中,如果我们需要从其他地方访问和管理 MySQL 数据库,就需要开启 MySQL 的远程访问功能并设置相应的权限。这对于我们的工作效率和数据安全都有很大的帮助。通过查看 MySQL 用户表,我们可以看到’host’为’%’,说明 root 用户登录 MySQL 的时候,可以允许任意的 IP 地址访问 MySQL 服务端。
文章浏览阅读956次。Redis Desktop Manager(RDM)是一款用于管理和操作Redis数据库的图形化界面工具。提供了简单易用的界面,使用户能够方便地执行各种Redis数据库操作,并且支持多个Redis服务器的连接_redisdesktopmanager安装包
文章浏览阅读1.9k次,点赞52次,收藏27次。缓存击穿指的是数据库有数据,缓存本应该也有数据,但是缓存过期了,Redis 这层流量防护屏障被击穿了,请求直奔数据库。缓存穿透指的是数据库本就没有这个数据,请求直奔数据库,缓存系统形同虚设。缓存雪崩指的是大量的热点数据无法在 Redis 缓存中处理(大面积热点数据缓存失效、Redis 宕机),流量全部打到数据库,导致数据库极大压力。
文章浏览阅读1.2k次。一次命令时间(borrow|return resource + Jedis执行命令(含网络) )的平均耗时约为1ms,一个连接的QPS大约是1000,业务期望的QPS是50000,那么理论上需要的资源池大小是50000 / 1000 = 50个,实际maxTotal可以根据理论值合理进行微调。JedisPool默认的maxTotal=8,下面的代码从JedisPool中借了8次Jedis,但是没有归还,当第9次(jedisPool.getResource().ping())3、发生异常可能的情况。_redis.clients.jedis.exceptions.jedisconnectionexception: could not get a res
文章浏览阅读1k次,点赞27次,收藏18次。在这篇文章中,你将了解到如何在 CentOS 系统上安装 Redis 服务,并且掌握通过自定义域名来访问 Redis 服务的技巧。通过使用自定义域名,你可以方便地管理和访问你的 Redis 数据库,提高工作效率。无论你是开发者、系统管理员还是对 Redis 感兴趣的读者,这篇文章都会为你提供清晰的指导和实用的技巧。阅读本文,轻松搭建自己的 Redis 服务,并体验自定义域名带来的便捷!_redis怎么自定义域名
文章浏览阅读1.1k次,点赞15次,收藏18次。我们post请求,拦截器要预先读取HtppServletRequest里面的body的数据,是通过io的方式,都知道io读取完毕之后,之前的数据是变为null的,但是,当我么后面的接口来委派的时候,也是通过io读取body。我们要考虑一个事情,就是我们要验证数据的重复提交: 首先第一次提交的数据肯定是要被存储的,当而第二次往后,每次提交数据都会与之前的数据产生比对从而验证数据重复提交,我们要具体判断数据是否重复提交的子类。发现数据是成功存入的,剩余7s过期,在10s之内,也就是数据没过期之前,在发送一次。_json.parseobject(str, clazz, auto_type_filter);
文章浏览阅读3.9k次,点赞3次,收藏7次。PHP使用Redis实战实录系列:我们首先检查$redis->connect()方法的返回值来确定是否成功连接到Redis服务器。如果连接失败,我们可以输出相应的错误信息。如果连接成功,我们再执行一些操作,如$redis->set()、$redis->get()等,并检查每个操作的返回结果来判断是否发生了异常。_php redis
文章浏览阅读1.5w次,点赞23次,收藏51次。Redis(Remote Dictionary Server ),即远程字典服务,是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。Redis 是一个高性能的key-value数据库。redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部 分场合可以对关系数据库起到很好的补充作用。_redisdesktopmanager下载