2 S. MUKHERJEE，概率机器学习
讲座 1
课程准备
机器学习这个术语可以追溯到Arthur Samuels和他的计算机下棋算法。 1959年
，Samuels将机器学习描述为：“一种使计算机具有学习能力而无需明确编程的研
究领域。”
机器学习被认为是人工智能的一个子领域，学习机器的概念出现在AlanTuring
于1950年在《心智：心理学和哲学的季刊》中发表的《计算机与智能》一文中。
本文的第一句提出的问题是“机器能思考吗？”。
在这门机器学习课程中，我们将考虑使用算法和概率方法来“从数据中学习”
。这门课程涉及统计学、计算机科学的交叉领域，机器学习的一个夸张描述是计算
机科学家在做统计学。
机器学习通常也与“大数据”这个术语联系在一起，它通常指的是对非常大的数据
集进行统计分析，在这里，计算挑战与推断问题一样严重。
广义上说，我们将讨论的方法可以分为两类：程序员：这将涵盖频率统计学和
机器学习的算法方法。这种方法基于找到适用于数据的良好程序。 良好的意思是
某个长期概率的过程，例如分类中出错的长期概率很小。
贝叶斯：一种基于数据推断参数或模型后验概率的一致公理方法。 在某些情况下
，贝叶斯推断可能不可行或不实际。
1.1. 复习
我们将从统计学的基础知识开始复习。 我们将使用贝叶斯和频率主义分析来研究
一个统计问题。 以下形式将在两个模型中进行量化。
P(M | D) =
P(D | M)P(M)
P(D)
∝ P(D | M)P(M),
其中P(M | D)是给定数据 D的模型 M的证据，P(D | M)是给定模型 M的数据D
的证据，P(M)是模型 M的概率，P(D)是数据的概率。这些对象的标准统计术语
为
P(D | M) ≡ Lik(D; M)，给定模型 M的数据的似然，P(M | D) ≡ Po
st(D; M)，给定数据的模型 M的后验证据，P(M) ≡ π(M)，模型M的
先验概率（在观察数据之前）。
示例1：模式估计
我们考虑一个随机变量 X，它是从一个包含 k= 4个字母的字母表中抽取的{A,
C, T, G}，其中我们表示 A ≡ 1, C ≡ 2, T ≡3, and G ≡4. 我们将概率分布设置
为以下多项式分布，注意我们
