本文研究了基于定点算法的长期记忆网络（Long Short-Term Memory, LSTM）语言模型的精度问题，尤其是通过定点数表示法实现FPGA加速对LSTM性能和精度的影响。在自然语言处理领域，LSTM语言模型是当前最先进的技术之一。然而，LSTM网络的训练计算密集型，这就自然地导致了人们探索使用FPGA（现场可编程门阵列）硬件加速的必要性，而FPGA中使用的是定点数运算。
在以往的研究中，人们主要关注使用某些固定位宽的加速器，但对于定点算法实现的精度评估却缺乏全面的研究。本文的主要贡献在于全面地通过实验评估展示了位宽效应对基于LSTM的语言模型和双曲正切函数近似的精度影响。在理论上，12位数字（其中小数部分为6位）是平衡精度和存储节省的最佳选择。通过实验发现，8位和16位混合位宽的解决方案可以获得与软件实现相似的性能，并且适应FPGA原语的位宽。尽管存在精度上的折衷，但我们的研究结果为在FPGA中实现LSTM时的位宽设计选择提供了指导。此外，根据我们的实验结果，令人惊讶的是，LSTM网络的规模与最佳定点配置无关，这意味着我们的结果同样适用于更大的模型。
LSTM网络是用于处理序列数据的循环神经网络的一种特殊形式。由于LSTM网络能够有效地“记住”句子中的顺序信息和模式，它们在自然语言处理的许多任务中胜过了其他先进的技术。然而，LSTM网络的训练和预测过程需要显著更多的存储空间和计算成本。这限制了它们的普及，使得对它们进行加速变得非常重要。FPGA在硬件加速领域受到关注，因其能够提供并行处理能力，同时能够通过用户编程来适应不同的应用场景。
该论文的核心内容是研究在LSTM语言模型中实现定点数运算时如何选择合适的位宽。位宽是指用于存储数字的二进制位数。在FPGA中使用定点数运算时，位宽的选择非常关键，因为它直接影响到模型的精度和计算资源的使用效率。不同位宽对LSTM中双曲正切函数的近似精度也不同，这直接影响了整个语言模型的性能。
文章强调了12位定点数，尤其是小数部分为6位的情况，可以在保持较高精度的同时节省存储资源。此外，为了适应FPGA的位宽要求和实现更高性能，文章提出了一种混合位宽方案，该方案结合使用8位和16位数字。这在确保可接受的精度损失范围内，实现了计算效率的提升。
在自然语言处理领域，语言模型用于评估单词和短语在文本中的出现概率。由于LSTM能够处理序列数据和学习序列中的模式，它在构建这些模型时提供了巨大的优势。然而，其计算成本高昂，通过实验验证不同位宽的定点数表示对模型精度的影响，以及在实现硬件加速时如何平衡这些因素，是非常关键的。这不仅对FPGA加速LSTM网络的研究有意义，也对整个自然语言处理领域的硬件实现有深远的启示。由于研究结果表明LSTM网络的规模与其最优的定点数配置无关，因此本研究对更大规模的模型同样适用。这为未来的研究和应用提供了一个坚实的基础，并可能引导更多的研究工作来进一步优化硬件加速的LSTM实现。
