CONTENTS
1. Introduction 8
2. Project Scope 10
3. Background 12
3.1. What is a Convolution Neural Network (CNN)? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.2. Framework High Level Interface Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.2.1. Why Do We Need Another High Level CNN Framework? . . . . . . . . . . . . . . . . . . . . . . 14
3.2.2.
Existing Field-programmable Gate Array (
FPGA
)
CNN
Frameworks and Their High Level
Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.2.3. Installing CNN Frameworks on Embedded ARM Chipset . . . . . . . . . . . . . . . . . . . . . . 15
3.3. FPGA Layer Intellectual Property (IP) Library Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.3.1. Why Is FPGA Good at Accelerating CNN? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.3.2. Related Works on Accelerating 2D Convolution on FPGAs . . . . . . . . . . . . . . . . . . . . . 16
3.4. Data Quantisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.4.1. Why Do We Quantise CNN? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.4.2. Existing CNN Quantisation Schemes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.5. PYNQ Platform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.5.1. What is Python Productivity for Zynq (PYNQ) Platform? . . . . . . . . . . . . . . . . . . . . . . 19
3.5.2. Alternative Platforms for CNN Deployment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.6. Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4. Implementation - Overall Architecture 20
5. Implementation - ARM Linux Operating System (OS) Side 21
5.1. Framework Installation and Setup on PYNQ Linux OS . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
5.1.1. Caffe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
5.1.2. TensorFlow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
5.1.3. Theano . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
5.1.4. Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
5.2.
Application Programming Interface (
API
) for
FPGA
-Central Processing Unit (
CPU
) Data Transmission
24
6. Implementation - Zynq FPGA Side 25
6.1. Data Streaming Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
6.2. Quantisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
6.2.1. 32-bit Floating-point Format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
6.2.2. Fixed-point Data Quantisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
6.3. FPGA Layer IPs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
6.3.1. Convolution Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
6.3.2. Pooling Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
6.3.3. Fully-connected Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5
