Redis线程模型 - SeeMoonUp/EfftiveRedis GitHub Wiki

Redis 是个单线程程序

这点必须铭记。

也许你会怀疑高并发的 Redis 中间件怎么可能是单线程。很抱歉，它就是单线程，你的怀疑暴露了你基础知识的不足。莫要瞧不起单线程，除了 Redis 之外，Node.js 也是单线程，Nginx 也是单线程，但是它们都是服务器高性能的典范。

Redis为什么这么快

  1. 完全基于内存，绝大部分请求是纯粹的内存操作，非常快速。数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O(1)；正因为 Redis 是单线程，所以要小心使用 Redis 指令，对于那些时间复杂度为 O(n) 级别的指令，一定要谨慎使用，一不小心就可能会导致 Redis 卡顿。
  2. 数据结构简单，对数据操作也简单，Redis中的数据结构是专门进行设计的；
  3. 采用单线程，避免了不必要的上下文切换和竞争条件，也不存在多进程或者多线程导致的切换而消耗 CPU，不用去考虑各种锁的问题，不存在加锁释放锁操作，没有因为可能出现死锁而导致的性能消耗；
  4. 使用多路I/O复用模型，非阻塞IO，Redis 单线程处理大量的并发客户端连接的模型。
  5. 使用底层模型不同，它们之间底层实现方式以及与客户端之间通信的应用协议不一样，Redis直接自己构建了VM 机制 ，因为一般的系统调用系统函数的话，会浪费一定的时间去移动和请求；

I/O模型

阻塞I/O模型

阻塞I/O顾名思义就是：

服务端面对并发请求逐个处理，如果其中一个请求准备数据处理时间过长会导致其他请求都在等待，系统的吞吐量下降。

具体流程可以参照下图：

阻塞.png

  1. 客户端发起读（read）的命令
  2. 调用redis服务端
  3. 此时没有数据
  4. 数据报准备完成
  5. 复制数据报
  6. 复制完成
  7. 返回成功
  8. 客户端 处理数据报

多路复用I/O模型

简单理解一下 就是

redis客户端先去select循环询问服务端是否可以发起read 这个过程是阻塞的 但是速度很快，当服务端准备好了数据报告诉客户端readable，客户端即可发起read请求，此时因为服务端已经准备好了数据报，直接返回即可。整个过程只在调用select、poll、epoll这些调用的时候才会阻塞，收发客户消息是不会阻塞的。这种方式避免了线程的阻塞，又称为非阻塞I/O模型

这里“多路”指的是多个网络连接，“复用”指的是复用同一个线程。采用多路 I/O 复用技术可以让单个线程高效的处理多个连接请求（尽量减少网络 IO 的时间消耗）

具体流程可以参照下图：

多路复用

  1. 客户端select机制 循环请求

  2. 去请求服务端 询问是否可以read

  3. 此时没有数据

  4. 数据报准备完成

  5. 服务端告诉客户端 可以read了

    1~5 这个过程是阻塞的

  6. 客户端发起read

  7. 系统调用read

  8. 复制数据报

  9. 复制完成

  10. 返回成功

  11. 客户端 处理数据报

下面看一个例子 十分贴切：

下面举一个例子，模拟一个tcp服务器处理30个客户socket。假设你是一个超市老板，30个用户分别买不同的东西，但是有的商品有库存有的商品没有库存需要等待供应商送货，然后有下面几个选择：

  1. 第一种选择：按顺序逐个检查，A用户先来买卫生纸，B用户买手电筒，C用户买泡面。。。。，逐个处理的结果是A用户买完走了，但是B用户的商品卖完了等待供应商送货30分钟后货送到了B购买成功，继续处理C用户。。。，这样处理就相当于最后的需要等待前面的用户全部购买成功才能继续购买。这种模式就好比，你用循环挨个处理socket，根本不具有并发能力。
  2. 第二种选择：你创建30个分身，每个分身去负责处理每个用户的购买请求。 这种类似于为每一个用户创建一个进程或者线程处理连接，但是Redis是单线程的
  3. 第三种选择，当A请求购买时 有货告知可以买 然后A购买，B请求购买 需要等待供应商送货 等待直到供应商送货过来 告知B来货了 B发起购买 购买成功；在B等待供应商的期间C用户的购买请求开始处理 有货直接购买成功 无需等待B用户购买，这就是多路复用模型，Linux下的select、poll和epoll就是干这个的。将用户socket对应的fd注册进epoll，然后epoll帮你监听哪些socket上有消息到达，这样就避免了大量的无用操作。此时的socket应该采用非阻塞模式。这样，整个过程只在调用select、poll、epoll这些调用的时候才会阻塞，收发客户消息是不会阻塞的，整个进程或者线程就被充分利用起来，这就是事件驱动，所谓的reactor模式。

不同操作系统中的select复用函数

因为 select 函数是作为 POSIX 标准中的系统调用，在不同版本的操作系统上都会实现，所以将其作为保底方案：

复用函数.png

Redis 会优先选择时间复杂度为 O(1) 的 I/O 多路复用函数作为底层实现，包括 Solaries 10 中的 evport、Linux 中的 epoll 和 macOS/FreeBSD 中的 kqueue，上述的这些函数都使用了内核内部的结构，并且能够服务几十万的文件描述符。

参考文档

Redis 和 I/O 多路复用

Redis 深度历险：核心原理与应用实践