性能优化缓存相关 - 823126028/book_reader GitHub Wiki

redis,tair 缓存穿透解决

缓存在某个时间点过期的时候，恰好在这个时间点对这个Key有大量的并发请求过来，这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存，这个时候大并发的请求可能会瞬间把后端DB压垮。 如何解决：业界比较常用的做法，是使用mutex。简单地来说，就是在缓存失效的时候（判断拿出来的值为空），不是立即去load db，而是先使用缓存工具的某些带成功操作返回值的操作（比如Redis的SETNX或者Memcache的ADD）去set一个mutex key，当操作返回成功时，再进行load db的操作并回设缓存；否则，就重试整个get缓存的方法

public String get(key) {
      String value = redis.get(key);      
      if (value == null) { 
      	  	//代表缓存值过期
          	//设置3min的超时,防止del操作失败的时候,下次缓存过期一直不能load db
          if (redis.setnx(key_mutex, 1, 3 * 60) == 1) {  
          		//代表设置成功
               		value = db.get(key);
                    redis.set(key, value, expire_secs);
                    redis.del(key_mutex);
           } else {  
       			//这个时候代表同时候的其他线程已经loaddb并回设到缓存了，这时候重试获取缓存值即可
                sleep(50);
                get(key);  //重试
           }
      } else {              
          return value;      
      }
  }

有时候为了防止缓存失效，提前判断redis快失效了.同样利用mutex主动加载缓存。

lazy 方式缓存穿透，解决方案2:

上述的方案不能解决开始缓存为空的情况。所以可以考虑哨兵线程的方式。

  1. 设置哨兵key,比缓存的key稍微早些。
  2. 利用redis，expire的性质，设置setNx 或者原子自增方式,来检验是否是哨兵线程。
  3. 其他线程如果发现缓存为空，那么自旋等待。等待时间结束可以当失败或者重试来做。

本地缓存过大方案分析：

本地内存大小过大

当本地缓存过大，会使得老年代GC压力比较大，这个时候可以考虑堆外内存，如mappedDB，ehcache企业版等可以操作堆外内存的开源软件。

反复缓存反模式（Recurrent Caching AntiPattern）

为了降低响应时间，系统往往在本地内存中缓存很多数据。缓存数据越多，命中率就越高，平均响应时间就越快。为了降低平均响应时间，有些开发者会不加限制地缓存各种数据，在正常流量情况下，系统响应时间和吞吐量都有很大改进。但是当流量高峰来临时，系统内存使用开始增多，触发了JVM进行full GC，进而导致大量缓存被释放（因为主流Java内存缓存都采用SoftReference和WeakReference所导致的），而大量请求又使得缓存被迅速填满，这就是反复缓存。反复缓存导致了频繁的full GC，而频繁full GC往往会导致系统性能急剧恶化。

thread local cache

ThreadLocal 共享参数传递。

  1. tair 中的 connection 就存在一个set 里等到执行结束时，try finally 把 thread local 里的全部清除。
  2. thread local 也可以作为 timeWatcher 计时器里面存上次执行时间的容器。
public class TimeWatcher{
    public static TimeWatcher instance = new TimeWatcher();
    private ThreadLocalCache<Stack<TimeRecord>> threadLocal = new ThreadLocalCache<>();
    private TimeWatcher();
    public void begin(){
       enterStack（time）;
   }
   public void end(){
       popStack()
   }
}

thread local 内存泄漏:

  1. 当线程池结束的时候要执行 afterExcute();
  2. 线程退出的时候或者不用的时候执行 clear 行为。
⚠️ **GitHub.com Fallback** ⚠️