缓存预热

  • 问题
    大量的请求需要去从缓存中获取数据,但是缓存中没有,此时从数据库中查找数据然后将数据再存入缓存,造成了短期内对redis的高强度操作。
  • 方案

    1. 将统计结果中的数据分类,根据级别,redis优先加载级别较高的热点数据。
    2. 利用分布式多服务器同时进行数据读取,提速数据加载过程。
    3. 热点数据主从同时预热。
  • 总结

在系统启动前,提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候,先查询数据库,然后再将数据缓存,用户直接查询事先被预热的缓存数据。

缓存雪崩

  • 问题
    在一个较短的时间内,缓存中较多的key集中过期,然后请求的数据在redis中未命中,此时redis需要向数据库获取数据,数据库接收大量请求无法及时处理,崩溃!重启后仍然面对无缓存可用,redis面临大量请求被积压,也崩溃了,集群崩塌瓦解,应用服务器无法响应请求,来自客户端的请求越来越多,应用服务器崩溃。
  • 方案

    1. 构建多级缓存:Nginx缓存+redis缓存。
    2. MySQL严重耗时业务优化。
    3. 灾难预警:监控redis的性能指标。
    4. 限流、降级:短时间牺牲一些客户体验,限制一些请求。
    5. LRU与LCU切换。
    6. 超热数据使用永久KEY。
    7. 定期维护,对热点数据延时。
  • 总结

缓存雪崩就是瞬间过期数据量太大,导致对数据库服务器造成压力。如能够有效避免过期时间集中,可以有效解决雪崩现象的出现(约40%),配合其他策略一起使用,并监控服务器的运行数据,根据运行记录做快速调整。

缓存击穿

  • 问题
    Redis中某个key过期,该key访问量巨大,多个数据请求从服务器直接压到Redis后,均未命中,Redis在短时间内发起了大量对数据库中同一数据的访问。
  • 方案

    1. 预先设定key的过期时长。
    2. 监控访问量,对自然流量激增的数据延长过期时间或设置为永久性key。
    3. 启动定时任务,高峰期来临之前,刷新数据有效期,确保不丢失。
    4. 二级缓存设置不同的失效时间,保障不会被同时淘汰就行。
    5. 分布式锁,防止被击穿,但是要注意也是性能瓶颈,慎重!
  • 总结

缓存击穿就是单个高热数据过期的瞬间,数据访问量较大,未命中redis后,发起了大量对同一数据的数据库访问,导致对数据库服务器造成压力。应对策略应该在业务数据分析与预防方面进行,配合运行监控测试与即时调整策略,毕竟单个key的过期监控难度较高,配合雪崩处理策略即可。

缓存穿透

  • 问题
    Redis中大面积出现未命中,出现非正常URL访问(恶意访问)。
  • 方案

    1. 对查询结果为null的数据进行缓存(长期使用,定期清理),设定短时限,例如30-60秒,最高5分钟。
    2. 设置过滤器(布隆过滤器):正常访问放行,异常数据直接拦截(效率低)。
    3. 实时监控redis命中率(业务正常范围时,通常会有一个波动值)与null数据的占比。非活动时段波动:通常检测3-5倍,超过5倍纳入重点排查对象;活动时段波动:通常检测10-50倍,超过50倍纳入重点排查对象。
      根据倍数不同,启动不同的排查流程。然后使用黑名单进行防控。
    4. 问题出现后,临时启动防灾业务key,对key进行业务层传输加密服务,设定校验程序,过来的key校验。例如每天随机分配60个加密串,挑选2到3个,混淆到页面数据id中,发现访问key不满足规则,驳回数据访问。
  • 总结

缓存穿透是指访问了不存在的数据,跳过了合法数据的redis数据缓存阶段,每次访问数据库,导致对数据库服务器造成压力。通常此类数据的出现量是一个较低的值,当出现此类情况以毒攻毒,并及时报警。应对策略应该在临时预案防范方面多做文章。
无论是黑名单还是白名单,都是对整体系统的压力,警报解除后尽快移除。

Last modification:February 22nd, 2021 at 02:23 am
我从来都不喜欢钱,我也没碰过钱,我对钱没兴趣