本讲座的大部分内容将致力于两篇论文，它们试图做到这一点:通过使用概率和基于信息理论的度量，公平地比较生成模型的表现。第一篇论文详细介绍了如何通过总比特来评价(单语)开放词汇语言模型，第二篇论文思考了“信息”的意义以及如何使用它来比较机器翻译模型。
《生成式语言模型：信息论视角》报告主要探讨了如何运用概率和信息理论的方法来公正地评估生成式语言模型的性能。在这个领域，语言模型是关键的工具，它们能够生成连贯、有意义的文本，而信息论则为度量和理解这些模型的能力提供了理论基础。
语言模型是一种统计工具，其核心目标是估算一个给定上下文下的下一个词出现的概率。例如，公式`p(the cat chased the)`表示的是在特定语境中，单词序列"the cat chased the"的概率。这可以通过将每个词的概率逐个相乘得到，如`p(the) * p(cat | the) * p(chased | the cat) * p(the | the cat chased)`。这种分解方法体现了语言模型如何考虑词汇表（Lexicon）中的每个词，包括它们的拼写、嵌入表示（embedding）等特征。
在实际应用中，语言模型通常基于循环神经网络（RNN）进行训练，它们能够捕获序列数据的上下文依赖性。在RNN模型中，每个时间步的输出都取决于前一时刻的状态，从而能够逐步生成序列。然而，RNN在处理词汇表中的未知词（UNK）时可能会遇到困难，因为它需要根据上下文预测单词，而不仅仅是简单的记忆。
报告指出，解决这一问题的一种可能方案是采用纯字符级（character-level）的语言模型。这种模型不再基于预定义的词汇表，而是直接处理文本中的字符序列，从而理论上可以生成任何可能的单词。然而，这也会带来额外的挑战，因为字符级的模型需要处理更复杂的上下文关系，并且训练过程可能更加耗时。
信息理论在此发挥了重要作用，因为它提供了一套量化信息量、熵、互信息等概念的框架，可用于比较不同模型的性能。总比特（Total Bits）是其中的一个度量，用于衡量语言模型预测序列所需的平均信息量。较低的总比特值意味着模型对序列的预测更准确，因为它用较少的信息就能表示整个序列。
此外，信息理论还帮助我们理解机器翻译模型之间的差异。在机器翻译任务中，比较模型不仅要看翻译的准确性，还要看它们如何保留源语言的“信息”。理想情况下，翻译应尽可能地保留原语的信息，同时适应目标语言的语法和表达习惯。因此，通过信息理论的视角，我们可以评估翻译模型在信息保真度和适应性之间的平衡。
生成式语言模型的研究不仅涉及到如何利用神经网络结构捕捉文本的统计规律，还涉及到如何利用信息理论工具进行有效的模型评估和优化。通过深入理解和运用这些理论，我们可以改进语言模型的性能，使它们在自然语言处理任务中发挥更大的潜力。
