A study of iSCSI extensions for RDMA (iSER)

iSCSI，即互联网小型计算机系统接口，是一种基于TCP/IP的网络存储技术，它允许通过网络传输SCSI命令，实现存储设备的远程访问和数据共享。iSCSI协议在设计时，要处理TCP协议固有的性能问题，例如数据包的复制和重组缓冲区需求较高，这些在iSCSI早期设计时被认为是影响接受度和部署的主要障碍。为了解决这些问题，iSCSI引入了可选的“标记”功能，以便于通过固定间隔的指针来界定iSCSI协议数据单元（PDU）的边界，便于直接将数据放置到最终内存位置。 RDMA技术，即远程直接内存访问，是一种允许服务器直接从一个系统的内存中读写另一个系统内存的技术，无需操作系统介入。这项技术能够显著提升数据传输效率，减少延迟和处理器负载，是高性能计算和数据中心的关键技术之一。 iSER，即iSCSI扩展为RDMA的扩展，将iSCSI协议映射到iWARP协议套件之上，iWARP是RDMA技术的一种，它运行在TCP/IP之上。iSER的设计目标是利用通用的RDMA技术实现iSCSI的有效数据传输，并解释了在硬件iSER设计过程中考虑的某些iWARP架构特性。 在iSER的背景下，本文探讨了iSCSI、TCP和iWARP的层次关系，即它们如何在协议栈中分配功能，以及iSER设计的特点。文章提到了对iSCSI协议所做的变更和扩展，解释了为什么需要这些变更，并讨论了iWARP协议和iWARP Verbs在效率方面的增强。iWARP Verbs是用于直接在用户空间程序和RDMA硬件之间进行交互的一组操作。文章还涉及了iSER标准化的下一步行动，并对连接设置、转换和数据完整性管理等环节提出了问题。 在背景部分，文章基于一个刚刚完成的协议设计，探索了来自RDMA联盟内多家公司的贡献者所完成的工作。这项工作属于“经验”类别，即NICELI中的“E”。在iSER的案例中，设计者必须回答的问题是：是否TCP/IP之上的RDMA技术满足了数据移动的需求。设计者们进行了深入的讨论和分析，以确保iSER能够有效地利用RDMA技术来提升iSCSI协议的数据传输性能，并解释了在硬件iSER设计过程中考虑到的iWARP架构特性。 在iSCSI与TCP结合的过程中，面临的挑战包括了TCP复制开销和重组缓冲区需求的问题。为了应对这些挑战，iSCSI协议包含了名为“标记”的可选功能，标记通过在TCP数据流中固定间隔出现的指针来界定iSCSI PDU的边界。即便iSCSI标记有助于实现iSCSI特定的数据直接放置，但是没有标记的情况下，仍然需要更多的重组内存来完成这一操作。无论是有或没有标记，iSCSI特定的数据放置都需要iSCSI特定的网络接口卡（NIC），以有效运行iSCSI协议并避免TCP数据复制。 iSER的设计考虑了RDMA over TCP/IP技术是否能够满足数据移动的需求。iSER的提出，为基于TCP/IP的网络存储提供了更高效的数据传输解决方案。通过将iSCSI协议映射到iWARP协议套件上，iSER使得iSCSI能够在通用的RDMA硬件上实现更高效的数据传输。这样一来，iSCSI就可以利用RDMA的优势，避免TCP的数据复制和重组操作，大大提升数据传输效率和降低延迟。 在iSER的设计中，实现了多项创新功能和改进。例如，iSER在iWARP协议中实现了自动失效功能，以及在iWARP Verbs中实现高效STags注册机制。STags（Send Tags）是一种用于标识内存区域的标签，它们与远程节点共享，以便于远程节点可以直接访问这些内存区域，从而避免了不必要的数据复制。这些改进不仅提高了性能，还增强了iSCSI协议在各种硬件上的兼容性和灵活性。 iSER的标准化工作是其未来发展的关键步骤，涉及了如何将iSER集成到现有的网络存储架构中，并确保不同供应商的产品和系统之间的互操作性。标准化过程将解决连接设置、协议转换以及数据完整性管理等方面的问题，这些都是在实现基于iSER的网络存储解决方案时必须考虑的因素。标准化工作将为iSER的发展指明方向，并最终确保其能够被广泛采用。