11 Optimizing CUDA Applications 31
12 Performance Metrics 33
12.1 Timing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
12.1.1 Using CPU Timers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
12.1.2 Using CUDA GPU Timers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
12.2 Bandwidth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
12.2.1 Theoretical Bandwidth Calculation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
12.2.2 Eective Bandwidth Calculation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
12.2.3 Throughput Reported by Visual Proler . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
13 Memory Optimizations 37
13.1 Data Transfer Between Host and Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
13.1.1 Pinned Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
13.1.2 Asynchronous and Overlapping Transfers with Computation . . . . . . . . . . . . . . . 38
13.1.3 Zero Copy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
13.1.4 Unied Virtual Addressing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
13.2 Device Memory Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
13.2.1 Coalesced Access to Global Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
13.2.1.1 A Simple Access Pattern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
13.2.1.2 A Sequential but Misaligned Access Pattern . . . . . . . . . . . . . . . . . . . . . . 45
13.2.1.3 Eects of Misaligned Accesses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
13.2.1.4 Strided Accesses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
13.2.2 L2 Cache . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
13.2.2.1 L2 Cache Access Window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
13.2.2.2 Tuning the Access Window Hit-Ratio . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
13.2.3 Shared Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
13.2.3.1 Shared Memory and Memory Banks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
13.2.3.2 Shared Memory in Matrix Multiplication (C=AB) . . . . . . . . . . . . . . . . . . . . 52
13.2.3.3 Shared Memory in Matrix Multiplication (C=AAT) . . . . . . . . . . . . . . . . . . . . 55
13.2.3.4 Asynchronous Copy from Global Memory to Shared Memory . . . . . . . . . . . . 57
13.2.4 Local Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
13.2.5 Texture Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
13.2.5.1 Additional Texture Capabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
13.2.6 Constant Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
13.2.7 Registers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
13.2.7.1 Register Pressure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
13.3 Allocation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
13.4 NUMA Best Practices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
14 Execution Conguration Optimizations 63
14.1 Occupancy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
14.1.1 Calculating Occupancy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
14.2 Hiding Register Dependencies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
14.3 Thread and Block Heuristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
14.4 Eects of Shared Memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
14.5 Concurrent Kernel Execution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
14.6 Multiple contexts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
15 Instruction Optimization 69
15.1 Arithmetic Instructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
15.1.1 Division Modulo Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
15.1.2 Loop Counters Signed vs. Unsigned . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
15.1.3 Reciprocal Square Root . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
15.1.4 Other Arithmetic Instructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
ii
