目前企业SSD市场按照接口协议主要分为SATA SSD，PCIe SSD和NVMe SSD，其中SATA SSD沿用了传统的HDD使用的SATA协议，在企业应用和服务器兼容性上具有优势；而PCIe SSD则一般使用私有协议，目前已经处于比较小众的产品；NVMe SSD则在PCIe接口上使用新的标准协议NVMe，由于NVMe由大厂Intel推出并交由nvmexpress组织推广，现在被全球大部分存储企业采纳，如memblaze，huawei，samsung都推出了相关的产品
NVMe 是什么？NVMe具体优势包括：
①NVMe是为SSD所生的。NVMe出现之前，SSD绝大多数走的是AHCI和SATA的协议，后者其实是为传统HDD服务的。与HDD相比，SSD具有更低的延时和更高的性能，AHCI已经不能跟上SSD性能发展的步伐了，已经成为制约SSD性能的瓶颈. SATA现在最高带宽就是600MB/s，nvme使得性能有数倍的提升；
②可降低延迟超过50%；
③NVMe可以把最大队列深度从32提升到64000，SSD的IOPS能力也会得到大幅提升；
④自动功耗状态切换和动态能耗管理功能大大降低功耗；
⑤NVMe标准的出现解决了不同PCIe SSD之间的驱动适用性问题。
NVMe CommandNVMe Host（Server）和NVMe Controller（SSD）都是通过NVMe Command进行信息交互。NVMe Spec中定义了NVMe Command的格式，可以看到，NVMe Command占用64字节。其中Command的前4个字节规定如下。Command Identifier作为识别这个Command的标志，Opcode通常包含Command类型（如读写，identify等）
NVMe有两种命令，一种叫Admin Command，用以Host管理和控制SSD；另外一种就是I/O Command，用以Host和SSD之间数据的传输
Opcode在这两类的基础上进行划分。下图是部分管理Command的Opcode定义：
下图是 IO command的Opcode定义：
剩余的60个字节则根据Command类型定义。
NVMe QueueNVMe中有两个队列和一个寄存器：
①Submission Queue （SQ）
②Completion Queue（CQ）
③Doorbell Register （DB）
SQ和CQ位于Host的内存中，DB则位于SSD的控制器内部。
- 有两种SQ和CQ，一种是Admin，另外一种是I/O，前者放Admin命令，用以Host管理控制SSD，后者放置I/O命令，用以Host与SSD之间传输数据。
- 系统中只有一对Admin SQ/CQ，它们是一一对应的关系；I/O SQ/CQ却可以很多，多达65535（64K减去一个SQ/CQ）
- Host端每个Core可以有一个或者多个SQ，但只有一个CQ。给每个Core分配一对SQ/CQ好理解，为什么一个Core中还要多个SQ呢？一是性能需求，一个Core中有多线程，可以做到一个线程独享一个SQ；二是QoS需求，什么是QoS？Quality of Service，服务质量。实际系统中用多少个SQ，取决于系统配置和性能需求，可灵活设置I/O SQ个数
- 作为队列，每个SQ和CQ都有一定的深度：对Admin SQ/CQ来说，其深度可以是2-4096（4K）；对I/O SQ/CQ，深度可以是2-65536(64K)。队列深度也是可以配置的。AHCI只有一个命令队列，且队列深度是固定的32
- Linux的NVMe驱动采用一个Core独占一个Queue（由Completion Queue和Submission Queue组成）的方式。这种设计避免了一个队列被多个Core竞争访问，大家都各自使用自己的Queue，互不干扰。
- 队列用来存放NVMe Command，NVMe Command是Host与SSD Controller交流的基本单元，应用的I/O请求也要转化成NVMe Command。
- 每条命令大小是64字节，每条命令完成状态是16字节
- 每个SQ或者CQ有两个DB: Head DB 和Tail DB
SSD作为一个PCIe Endpoint通过PCIe连着Root Complex （RC）, 然后RC连接着CPU和内存。 RC就是CPU的代言人 SQ位于Host内存中，Host要发送命令时，先把准备好的命令放在SQ中，然后通知SSD来取；CQ也是位于Host内存中，一个命令执行完成，成功或失败，SSD总会往CQ中写入命令完成状态。 Host发送命令时，不是直接往SSD中发送命令的，而是把命令准备好放在自己的内存中，那怎么通知SSD来获取命令执行呢？Host就是通过写SSD端的DB寄存器来告知SSD的：
流程：
1.BIO封装成的Command会顺序存入Submission Queue中
2.对于Submission Queue来说，使用Tail表示最后操作的Command Index。每存入一个Command，Host就会更新Queue对应的Doorbell寄存器中的Tail值
3.NVMe没有规定Command存入队列的执行顺序，Controller可以一次取出多个Command进行批量处理，所以一个队列中的Command执行顺序是不固定的（可能导致先提交的请求后处理）
4.SSD执行命令
5.SSD Controller根据Doorbell的值，获取NVMe Command和对应数据（步骤3），待处理完成后（步骤4）将结果存入Completion Queue中
6.Controller通过中断的方式通知Host
7.将Completion Command从Completion Queue中取出，然后把队列的head值加1，并调用上层的Callback函数（完成BIO处理）
8.处理完Command后，往Completion Queue的Doorbell写入Head值，通知NVMe Controller操作完成。中断处理结束
DB的另外一个作用，就是通知作用：Host更新SQ Tail DB的同时，也是在告知SSD有新的命令需要处理；Host更新CQ Head DB的同时，也是在告知SSD，你返回的命令完成状态信息我已经处理，同时表示谢意。这里有一个对Host不公平的地方，Host对DB只能写，还仅限于写SQ Tail DB和CQ Head DB，不能读取DB
疑问：
1.SSD在取指的时候，是偷偷进行的，Host对此毫不知情。Host发了取指通知后，它并不清楚SSD什么时候去取命令，取了多少命令。怎么破？
答：
这是SSD往CQ中写入的命令完成状态信息（16字节）。是的，SSD往CQ中写入命令状态信息的同时，还把SQ Head DB的信息告知了Host！！这样，Host对SQ中Head和Tail的信息都有了，轻松玩转SQ
2.Controller写入Command后，只有中断触发通知Host，没有类似于Head/Tail机制告诉Host可以取哪些Completion Command？
答：一开始CQ中每条命令完成条目中的”P” bit初始化为0，SSD在往CQ中写入命令完成条目时，会把”P”写成1。记住一点，CQ是在Host端的内存中，Host可以检查CQ中的所有内容，当然包括”P”了。Host记住上次的Tail，然后往下一个一个检查”P”，就能得出新的Tail了。就是这样。