700字范文 > Redis缓存穿透缓存击穿缓存雪崩的解决方案

Redis缓存穿透缓存击穿缓存雪崩的解决方案

时间：2021-04-24 23:49:51

区别：
缓存穿透：查询缓存和数据库都不存在的数据，缓存没有，数据库也没有；
缓存基穿：缓存中数据的key过期了，这时候所有请求都到数据库查询，瞬时大量请求击穿数据库

1、缓存穿透

缓存穿透指的查询缓存和数据库中都不存在的数据，这样每次请求直接打到数据库，就好像缓存不存在一样。

缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求，如发起为id为“-1”的数据或id为特别大不存在的数据。这时的用户很可能是攻击者，攻击会导致数据库压力过大。

解决方案：

接口层增加校验，如用户鉴权校验，id做基础校验，id<=0的直接拦截；缓存空值/默认值从缓存取不到的数据，在数据库中也没有取到，这时也可以将key-value对写为key-null，缓存有效时间可以设置短一些，如30秒（设置太长会导致正常情况也没法使用）。这样可以防止攻击用户反复用同一个id暴力攻击使用布隆过滤器，需要安装redis组件使用布谷鸟滤器，布谷鸟过滤器是布隆过滤器的升级版，需要安装redis组件在客户端自行实现布隆过滤算法；可以使用guava包中的或者Redisson包中的。具体使用可参考：/qq_41125219/article/details/119982158

/*** 业务逻辑并没有写错，对于小厂中厂(QPS《=1000)可以使用，但是大厂不行* @param id* @return*/public User findUserById(Integer id) {User user = null;String key = CACHE_KEY_USER+id;//1 先从redis里面查询，如果有直接返回结果，如果没有再去查询mysqluser = (User) redisTemplate.opsForValue().get(key);if(user == null) {//2 redis里面无，继续查询mysqluser = userMapper.selectById(id);if(user == null) {//3.1 redis+mysql 都无数据//你具体细化，防止多次穿透，我们规定，记录下导致穿透的这个key回写redis// 这时也可以将key-value对写为key-null，缓存有效时间可以设置短一些，如30秒（设置太长会导致正常情况也没法使用）。这样可以防止攻击用户反复用同一个id暴力攻击return user;}else{//3.2 mysql有，需要将数据写回redis，保证下一次的缓存命中率redisTemplate.opsForValue().set(key,user);}}return user;}

缓存空值有两大问题：

空值做了缓存，意味着缓存层中存了更多的键，需要更多的内存空间（如果是攻击，问题更严重），比较有效的

方法是针对这类数据设置一个较短的过期时间，让其自动剔除。

缓存层和存储层的数据会有一段时间窗口的不一致，可能会对业务有一定影响。

例如过期时间设置为5分钟，如果此时存储层添加了这个数据，那此段时间就会出现缓存层和存储层数据的不一致。

这时候可以利用消息队列或者其它异步方式清理缓存中的空对象。

布隆过滤器

除了缓存空对象，我们还可以在存储和缓存之前，加一个布隆过滤器，做一层过滤。

布隆过滤器里会保存数据是否存在，如果判断数据不不能再，就不会访问存储。

那布隆过滤器是什么玩意儿？查找它会不会很慢？

布隆过滤器是什么？

不知道你对哈希表了解多少，布隆过滤器是一个类似的东西。

它是一个连续的数据结构，每个存储位存储都是一个bit，即0或者1, 来标识数据是否存在。

存储数据的时时候，使用K个不同的哈希函数将这个变量映射为bit列表的的K个点，把它们置为1。

我们判断缓存key是否存在，同样，K个哈希函数，映射到bit列表上的K个点，判断是不是1：

如果全不是1，那么key不存在；如果都是1，也只是表示key可能存在。

至于为什么？因为哈希函数是存在碰撞的可能的。

关于缓存穿透的两种主要解决方案，我们简单对比一下：

2、缓存击穿

缓存击穿指的是一个并发访问量比较大的key在某个时间过期，导致所有的请求直接打在DB上，那么程序在redis找不到数据，就会去数据库里查询，数据库处理大量的请求的同时导致压力瞬间增大，造成压力过大，甚至导致崩溃；

解决方案

设置key值永不过期将key的过期时间设为随机使用布隆过滤器或者布谷鸟过滤器使用分布式锁，当多个key过期时，同一时间只有一个查询请求下发到数据库，其他的key等待一个个地轮流查，就可以避免数据库压力过大的问题；

// 分布式锁，为了可读性高用 ReentrantLock 代替分布式锁static Lock lock = new ReentrantLock();public String getData(String key ) throws InterruptedException {try {// 从redis获取值String data = getRedisData(key);// 如果key不存在，从数据库查询if(null == data){// 尝试获取锁if(!lock.tryLock()){// 获取锁失败 ,100ms后在次尝试TimeUnit.MILLISECONDS.sleep(100);data = getData(key);}// 走到这里表示成功获取锁// 从myqsl中获取锁data = getMysqlData(key);// 将数据更新到redissetDataToRedis(key,value);}return data;} catch (Exception e){e.printStackTrace();throw e;} finally {// 解锁lock.unlock();}}

使用synchronized 双端检锁：

/*** 加强补充，避免突然key实现了，打爆mysql，做一下预防，尽量不出现击穿的情况。* @param id* @return*/public User findUserById2(Integer id) {User user = null;String key = CACHE_KEY_USER+id;//1 先从redis里面查询，如果有直接返回结果，如果没有再去查询mysqluser = (User) redisTemplate.opsForValue().get(key);if(user == null) {//2 大厂用，对于高QPS的优化，进来就先加锁，保证一个请求操作，让外面的redis等待一下，避免击穿mysqlsynchronized (UserService.class){user = (User) redisTemplate.opsForValue().get(key);//3 二次查redis还是null，可以去查mysql了(mysql默认有数据)if (user == null) {//4 查询mysql拿数据user = userMapper.selectById(id);//mysql有数据默认if (user == null) {return null;}else{//5 mysql里面有数据的，需要回写redis，完成数据一致性的同步工作redisTemplate.opsForValue().setIfAbsent(key,user,7L,TimeUnit.DAYS);}}}}return user;}