Internal_Mellanox_Adapters_PRM_rev_0_53_DraftB.pdf资源-CSDN文库

需积分: 49 156 浏览量 2020-11-02 21:15:55 上传评论 4 收藏 16.37MB PDF 举报

资源推荐

资源详情

资源评论

Mellanox Technologies Confidential

www.mellanox.com

Mellanox Adapters Programmer’s

Reference Manual (PRM)

Supporting Connect-IB®, ConnectX®-4, ConnectX®-4 Lx, ConnectX®-5, ConnectX®-6,

ConnectX®-6 Dx, BlueField and BlueField®-2

Rev 0.53

Doc #: MLNX-15-4845

2Mellanox Technologies Confidential

Mellanox Technologies

350 Oakmead Parkway Suite 100

Sunnyvale, CA 94085

U.S.A.

www.mellanox.com

Tel: (408) 970-3400

Fax: (408) 970-3403

Mellanox®, Mellanox logo, ASAP2 - Accelerated Switch and Packet Processing®, BlueField®, BlueOS®, CloudX logo, Connect -

IB®, ConnectX®, CORE -Direct®, GPUDirect®, HPC-X®, LinkX®, Mellanox CloudX®, Mellanox HostDirect®, Mellanox Multi -

Host®, Mellanox NEO®, Mellanox NVMEDirect®, Mellanox OpenCloud®, Mellanox OpenHPC®, Mellanox PeerDirect®,

Mellanox ScalableHPC®, Mellanox Socket Direct®, PeerDirect ASYNC®, SocketXtreme®, StoreX®, UCX®, UCX Unified

Communication X®, UFM®, Unbreakable -Link®, and Virtual Protocol Interconnect® are registered trademarks of Mellanox

Technologies, Ltd.

For the complete and most updated list of Mellanox trademarks, visit http://www.mellanox.com/page/trademarks.

All other trademarks are property of their respective owners.

NOTE:

THIS HARDWARE, SOFTWARE OR TEST SUITE PRODUCT PRODUCT(S)ᶰ AND ITS RELATED

DOCUMENTATION ARE PROVIDED BY MELLANOX TECHNOLOGIES AS-ISﺴ WITH ALL FAULTS OF ANY

KIND AND SOLELY FOR THE PURPOSE OF AIDING THE CUSTOMER IN TESTING APPLICATIONS THAT

USE THE PRODUCTS IN DESIGNATED SOLUTIONS. THE CUSTOMER'S MANUFACTURING TEST

ENVIRONMENT HAS NOT MET THE STANDARDS SET BY MELLANOX TECHNOLOGIES TO FULLY

QUALIFY THE PRODUCT(S) AND/OR THE SYSTEM USING IT. THEREFORE, MELLANOX TECHNOLOGIES

CANNOT AND DOES NOT GUARANTEE OR WARRANT THAT THE PRODUCTS WILL OPERATE WITH THE

HIGHEST QUALITY. ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE

IMPLIED WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND

NONINFRINGEMENT ARE DISCLAIMED. IN NO EVENT SHALL MELLANOX BE LIABLE TO CUSTOMER OR

ANY THIRD PARTIES FOR ANY DIRECT, INDIRECT, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL

DAMAGES OF ANY KIND (INCLUDING, BUT NOT LIMITED TO, PAYMENT FOR PROCUREMENT OF

SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)

HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY,

OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY FROM THE USE OF THE

PRODUCT(S) AND RELATED DOCUMENTATION EVEN IF ADVISED OF THE POSSIBILITY OF SUCH

DAMAGE.

Rev 0.53 3Mellanox Technologies Confidential

Table of Contents

Table of Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

Revision History . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

About this Manual . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

Chapter 1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

1.1 Major Features Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

1.2 Adapter Device Architecture Layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164

1.2.1 Wire Protocol. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

1.3 Hardware Interfaces. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

1.3.1 Host Interface - PCI Express . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

1.3.1.1 PCI Express . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

1.3.1.2 NC-SI (DMTF-Compliant Management Link) . . . . . . . . . . . . . . . . . . . . . . 168

1.3.1.3 I2C-Compatible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

1.3.2 Network Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

Chapter 2 Operational Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

2.1 Operation Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

2.2 Software Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

2.3 HCA Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

2.4 HCA Operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

2.4.1 Send Operation Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

2.4.2 Receive Operation Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

2.4.3 Queue Pairs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174

2.4.3.1 Special QPs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175

2.4.4 Flow Interface Isolation and Protection . . . . . . . . . . . . . . . . . . . . . . . . . . 176

2.4.4.1 Raw Network Interface – Mellanox Transport . . . . . . . . . . . . . . . . . . . . 176

2.4.5 Work Queues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

2.4.5.1 Shared Receive Queue Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

2.4.6 Completion Queues and Completion Events . . . . . . . . . . . . . . . . . . . . . . 177

2.4.7 Event Queues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

2.4.7.1 Interrupts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

2.4.8 HCA Memory Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

2.5 Virtualization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

2.6 Quality of Service . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

Chapter 3 Network Ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

3.1 Port Model Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

3.2 Physical Port . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

3.2.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

Rev 0.534 Mellanox Technologies Confidential

3.2.2 Port Speed Capabilities. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

3.2.3 Port Numbering. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

3.2.4 Congestion Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

3.2.4.1 QCN Congestion Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

3.2.4.2 RoCEv2 Congestion Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

3.2.5 Port States . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

3.2.6 Port Up/Down Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

3.2.7 Flow Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

3.2.8 Buffer Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

3.2.9 Cable Management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

3.2.10 Port Control Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

3.2.11 Mellanox Unbreakable Link Technology. . . . . . . . . . . . . . . . . . . . . . . . . . 183

3.2.12 FEC/RS-FEC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

3.2.13 LLR/PLR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

3.2.14 Communication Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

3.2.15 Frequency Based DME . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

3.2.16 Width Tuning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

3.2.17 MLPN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

3.2.18 Error Generator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

3.2.19 PRBS Checker/Generator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

Chapter 4 Networking and Stateless Offloads . . . . . . . . . . . . . . . . . . . . . . 185

4.1 Networking Transport Objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

4.1.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

4.2 Networking Services Usage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

4.2.1 Ethernet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

4.3 Stateless Offloads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

4.3.1 Checksum Offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189

4.3.2 Large Send Offload (LSO) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190

4.3.3 Software Parsing - SWP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

4.3.4 Multi-Packet Send WQE Offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

4.3.4.1 Multi-Packet Send WQE Format. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

4.3.4.2 Multi-Packet Send WQE Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192

4.3.5 Enhanced Multi-Packet Send WQE Offload . . . . . . . . . . . . . . . . . . . . . . . 193

4.3.5.1 Enhanced Multi-Packet Send WQE Format . . . . . . . . . . . . . . . . . . . . . . . 193

4.3.6 Receive Side Scaling (RSS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194

4.3.6.1 TIR Spreading Traffic Mechanism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194

4.3.7 Transmit Side Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194

4.3.8 Interrupt Moderation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

4.3.9 Large Receive Offload (LRO). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

4.3.9.1 LRO Introduction and Device Capabilities . . . . . . . . . . . . . . . . . . . . . . . . 195

4.3.9.2 LRO Session Creation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

4.3.9.3 LRO Session Termination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196

Rev 0.53 5Mellanox Technologies Confidential

4.3.9.4 Merging New Segments Into Existing LRO Session . . . . . . . . . . . . . . . . . 197

4.3.9.5 LRO Packet Scatter to Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

4.3.9.6 LRO CQE Fields Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

4.3.10 VLAN Insertion/Stripping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

4.3.11 Header Data Split . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

4.3.12 Hypervisor Offloading for Tunneling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

4.3.12.1 Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201

4.3.12.2 Indication in CQE for Tunneling Packet . . . . . . . . . . . . . . . . . . . . . . . . . . 202

4.3.12.3 RX Hash (RSS) for Tunneling Packets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

4.3.12.4 Flow Rules for Tunneling Packets. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203

4.3.12.5 Checksum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203

4.3.12.6 LSO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204

4.3.12.7 VLAN Stripping/Insertion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204

4.3.12.8 Header Data Split. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205

4.3.12.9 LRO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205

4.3.13 Packet Padding (TX) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205

4.3.14 Start of Packet Padding (RX) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205

4.3.15 End of Packet Padding (RX) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205

4.3.16 Trailer Insertion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206

4.4 Self-Loopback Control Using Transport Domains . . . . . . . . . . . . . . . . . . 206

4.5 Sniffer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207

4.6 ULP Stateless Offloads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

4.6.1 ULP Stateless Offloads QP Modes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

4.6.1.1 Basic ULP Offloads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

4.6.1.2 Enhanced ULP Offloads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210

4.7 MLNX ETHERTYPE TAGGING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214

4.8 Hairpin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215

4.8.1 Hairpin Creation Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215

4.8.2 Destroy Hairpin Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216

4.9 TLS Offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216

4.9.1 Initialization and enable of offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216

4.9.1.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216

4.9.1.2 Detailed Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217

4.9.2 TLS Send Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

4.9.2.1 Out of Order - Resync Flow. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

4.9.3 TLS Receive Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

4.9.3.1 Resync Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

4.9.4 TLS Teardown . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

4.10 NVMEoTCP Offload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

4.10.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220

4.10.2 CRC offload overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

4.10.3 Context Setup Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

剩余2300页未读，继续阅读

评论收藏

内容反馈

mounter625

粉丝: 1026
资源: 85

Internal_Mellanox_Adapters_PRM_rev_0_53_DraftB.pdf

Mellanox Adapters Programmer’s Reference Manual (PRM)

Mellanox横向扩展数据库解决方案.pdf

Hardware offloads-Mellanox.pdf

mellanox网卡驱动.zip

Performance-Tuning-Guide-for-Mellanox-Network-Adapters.pdf

Mellanox MNPA19-XTR 网卡 ConnectX-2 Firmware 启用 RDMA

openEuler 上编译安装MLNX驱动

cx341a win2016驱动-MLNX_VPI_WinOF-5_50_53000_All_Win2016_x64.exe

Mellanox交换机简明配置手册

MLNX_VPI_WinOF-5_50_53000_All_Win2016_x64 64位.rar

Mellanox InfiniHost 产品手册

DPDK_18_11_Mellanox_NIC_performance_report.pdf

Mellanox IB HPC-AI solution .pdf

万兆2854GT说明书

Mellanox ConnectX-2 万兆以太网卡WIN7,WS2008，64位驱动。

“深信服防火墙 AF-2000 V8.0（万兆）--测试报告”.pdf

以太网卡的配置使用先进技术

MLNX_OFED_LINUX-4.2-1.2.0.0-rhel6.9-x86_64.iso

MLNX_OS说明书

MLNX_Spine + Leaf 网络架构

MLNX_OFED_SRC-3.4-1.0.0.0.gz

没钱买万兆？比网线还便宜的万兆，淘汰服务器网卡逆袭记——变身家用双口万兆网卡-电路方案

BlueField™_Ethernet_SmartNIC_User_Manual.pdf

Mellanox 公司突破 10Gb/s 高速互连产品的价格壁垒

IB交换机安装手册

Mellanox InfiniHost III Lx 产品手册

ALCATEL交换机配置手册

mellanox switch sn2100 说明书

Mellanox Firmware Utility User Guide - mlxup

最新资源