Deep Learning Book (Ian Goodfellow, Yoshua Bengio) 英文版

深度学习大牛Ian Goodfellow, Yoshua Bengio力作，英文原版

Deep Learning Book (Ian Goodfellow, Yoshua Bengio) 中文版 最新版

深度学习大牛Ian Goodfellow, Yoshua Bengio大作《DeepLearning》中文版，2017年3月15日更新

基于信息熵和神经网络的语音端点检测算法研究

这篇论文先介绍了语音信号处理的一些背景知识，包括语音信号的特点、数字化和预处理等；然后简要描述了几种较为常见的VAD算法：基于短时能量和过零率的端点检测算法、基于LPC倒谱特征的VAD算法、基于HMM模型的VAD算法和频带方差检测法；然后详细讲述了信息熵的概念，并给出了音频幅度熵和谱熵的计算方法，描述了基于信息熵的音频端点检测算法，并给出了试验结果；最后讲述了神经网络的一些背景知识，并结合信息熵与神经网络（MLP）进行VAD的试验，给出了实验结果。

支持OpenCL的GPU加速人工神经网络训练

工神经网络训练所包含的运算量随着网络中神经元的数量增多而加大，对于神经元较多的网络训练 很耗时。提高人工神经网络训练速度的一个方法是对训练算法优化以减少计算量。由于人工神经网络训练算法 包含大量的矩阵和向量运算，如果把优化的算法用运行在GPU上的OpenCLC语言实现，则训练速度相比传统 基于CPU计算的实现会提高很多。从硬件的并行计算能力着手，以RPROP算法为例，对其运行在GPU上的 OpenCLC语言实现作一些研究。

异构(CPU-GPU)计算机系统性能评测与优化技术研究

国民经济和科学技术的快速发展，对高性能计算机的性能提出了更高的要求。 传统的采用通用CPU 研制高性能计算机的方法，在能耗、散热、成本等方面遇到了重大的挑战。异构体系结构结合了通用处理器和加速处理器两者的优势，逐渐成为高性能计算机领域的主流体系结构。GPU以其强大的运算能力、高存储带宽、低功耗以及较好的可编程性，在异构结构的计算机设计中确立了主导地位。CPU -GPU异构系统出现之后，引起国际学术界的广泛关注，并且被认为是未来研制高性能计算机的重要发展方向。与此同时，人们也很关心异构结构的应用情况，特别是典型算法在异构结构上的运行效率。 作为一种构建高性能计算机系统的有效途径，CPU -GPU异构计算机系统获得 高计算能力的同时，其对于各类典型应用的运行情况同样也引起广泛关注。本文首先对CPU -GPU异构计算机系统的进行性能评测，通过对基准测试程序集运行结果的分析总结出制约异构系统性能的因素，然后在此基础上提出了相应的优化方法，最后以一个典型的科学计算类程序——矩阵乘法——的实现对优化方法进行了验证，确实取得了一定的优化效果。

图形处理器用于通用计算的技术、现状及其挑战

年来计算机图形处理器(GPu)以大大超过摩尔定律的速度高速发展．图形处理器的发展极大地提高了计算机图形处理的速度和图形质量，并促进了与计算机图形相关应用领域的快速发展与此同时，图形处理器绘制流水线的高速度和并行性以及近年来发展起来的可编程功能为图形处理以外的通用计算提供了良好的运行平台，这使得基于GPu的通用计算成为近两三年来人们关注的一个研究热点．从介绍GPu的发展历史及其现代GPu的基本结构开始，阐述GPu用于通用计算的技术原理，以及其用于通用计算的主要领域和最新发展情况，并详细地介绍了GPu在流体模拟和代数计算、数据库应用、频谱分析等领域的应用和技术，包括在流体模拟方面的研究工作．还对GPu应用的软件工具及其最新发展作了较详细的介绍．最后，展望了GPu应用于通用计算的发展前景，并从硬件和软件两方面分析了这一领域未来所面临的挑战．

面向大规模科学计算的CPU-GPU异构并行技术研究

大规模科学计算对科学研究具有及其重要的意义，是计算机学科面临的重大 任务。近年来，随着GPU硬件及其编程模型的快速发展，使用GPU来加速大规 模科学计算应用己成为必然趋势。GPU擅长进行计算密集型操作，而且具有极高 的性价比，非常适合高性能科学计算。然而，如何有效地把科学计算应用移植到 GPU上运行仍是一个很大的挑战。在由CPU和GPU构建的异构系统中，CPU负 责进行复杂的逻辑运算和事务管理等不适合数据并行的计算，GPU负责进行计算 密集度高、逻辑分支简单的大规模数据计算。本文从两个层面研究了面向大规模 科学计算的CPU．GPU异构并行技术。首先，根据CPU—GPU异构平台的特性，本 文提出了CPU．GPU任务划分和CPU．GPU间通信优化两种优化策略。在讨论任务 划分时，本文给出了比例划分法、曲线拟合法和搜索法三种任务划分模型，各自 适用用于不同的情况；在研究CPU—GPU间数据通信时，本文提出了中间结果复用 和长流分段两种方法，从不同角度优化CPU．GPU的通信过程。其次，针对AMD GPU硬件及其编程模型Brook+的特性，本文提出了四种面向GPU的并行优化策 略，包括平衡线程并行性和局部性、分支消除、开发指令级并行和提高访存带宽 利用率。本文选取了矩阵乘、LU分解和Mgrid三个重要的科学计算程序，把它们 移植到AMDGPU上运行，并使用本文提出的优化策略对各个程序进行了优化。 经测试后发现，这三个程序的性能都得到了很大提升，说明本文提出的异构并行 优化技术是非常有效的。本文的工作对在CPU．GPU异构平台上开发和优化科学计 算应用具有一定的指导意义。

面向程序访存特征的存储优化技术研究

性能的提高一直是计算机研究人员孜孜不倦追求的目标。随着大规模集成电 路的发展，处理器的计算能力飞速提高。计算机性能提高的瓶颈由计算转变为存 储。存储性能是程序访存特征和特定的存储结构共同作用的结果。程序访存特征 的研究一直伴随着处理器的发展，为存储结构提供发展方向。 针对Cache结构不区分程序数据和主存物理实现一维连续的特征，本文选取 具有典型访存特征的应用程序，通过分析访存特征给出合理的存储优化方案： 1) 在共享Cache存储体系结构中，利用Simics+GEMS体系结构模拟器，分析 基于PostgreSQL数据库在线事务处理不同数据集的访存特征，建立数据分类模型， 将数据集划分为放弃型、保护型和自由竞争型三类；然后提出一种软件协同的半 透明共享Cache结构区分对待三类数据集，实验结果证明Cache失效率最高下降 率为12%。 2) 针对矩阵行列访问二维连续的特征和DRAM存储一维连续的特性，提出一 种针对行列交替访问的优化方案——窗口访问，并证明了最优窗口原理，利用可 重构实验平台实现窗口访问存储控制器，实验证明矩阵行列交替访问的存储性能 提高可达73.6%，一维FFT并行算法性能可提高45.1%。 3) 基于窗口访问原理，指导CPU和GPU上矩阵数据的布局，优化矩阵行列 交替访问程序，实验证明CPU中矩阵行列交替访问的存储性能最大提高58.4%， 并实现窗口访问和FFTW结合的一维FFT并行算法，与FFTW相比计算性能提高 可达7%；分析CUDA编程框架和相应GPU的结构特点，将窗口原理应用到GPU 中以warp为单位的访存过程上，实验表明矩阵行列交替访问的存储性能提高了1 倍。

面向OpenCL模型的GPU性能优化

U的高性价比吸引了越来越多的通用计算．为充分发挥异构处理平台下GPU的通用计算能力，提出面向OpenCL模型的性能优化方法．该方法建立源程序的多面体表示，分别对GPU的全局存储器和快速存储器进行优化与分配；通过检测存储访问模式发掘可向量化的存储访问实例，利用数据空间变换对存储访问模式进行转换，进而使用向量数据类型提高片外存储器的带宽利用率；通过检测程序中的数据重用，根据数据的访问属性和OpenCL存储模型的特性实现快速存储器的有效分配与优化，提高了片上存储器的使用效率．采用文中方法对6个测试程序进行实验的结果表明，程序的性能提高了1．6～8．4倍，证实了其有效性．

面向CPU-GPU异构并行系统的编程模型与编译优化关键技术研究

随着超大规模集成电路技术的不断进步，单芯片上集成了越来越多的晶体管， 目前已达到10亿的量级。然而，受到CMOS工艺特征尺寸的限制，芯片的主频 在达到4GHz之后继续提升的空间有限，多核并行逐渐成为提升处理器计算性能， 同时也是充分利用丰富的片上资源的主要技术途径。4-8核的通用CPU目前已 成为市场主流，而一些专用的处理器如流处理器则包含数十到数百个处理核心。 本文选取目前非常流行也极具发展潜力的一种商用流处理器体系结构——GPU （Graphics Processing Unit）展开相关的研究。 GPU最初仅用于加速图形计算，因此其结构较通用CPU相对简单，不包含 诸如分支预测、乱序执行等耗费芯片资源的复杂逻辑功能，而将晶体管资源更有 效地用于增加并行执行的计算核心，以提升计算性能。GPU的峰值计算性能也因 此远高于同时期的通用CPU。随着GPU指令级功能的逐步完善以及其编程界面 的不断改进，GPU被越来越多地应用到非图形领域的计算，出现了一个全新的 研究领域——GPGPU（General Purpose Computation on GPUs）。利用CPU和GPU 构建异构并行系统，以CPU提供通用的基础计算环境，GPU作为加速阵列提供 强大的峰值计算能力，已成为高性能计算领域一个非常重要的发展趋势。目前， GPU已在高性能计算、桌面计算甚至嵌入式计算等多个领域得到了非常广泛的应 用，因此有关CPU-GPU异构系统以及GPU本身的一系列研究课题也得到广泛关 注，诸如编程模型、编译优化、可靠性优化以及低功耗优化等等。本课题从编程 和编译的角度展开，首先研究了CPU-GPU异构并行系统的编程模型，然后针对 GPU的存储访问展开了深入的分析和优化研究，最后给出了所研究模型的编译实 现和优化。