14.5 条件混合模型
我们已经看到，标准的决策树被限制为对输⼊空间的硬的、与坐标轴对齐的划分。这些限制
可以通过引⼊软的、概率形式的划分的⽅式得到缓解，这些划分是所有输⼊变量的函数，⽽不
仅仅是某个输⼊变量的函数。这样做的代价是它的直观意义的消失。如果我们也给叶结点的模
型赋予⼀个概率的形式，那么我们就得到了⼀个纯粹的概率形式的基于树的模型，被称为专家
层次混合（hierarchical mixture of experts），将在14.5.3节讨论。
另⼀种得到专家层次混合模型的⽅法是从标准的⾮条件密度模型（例如⾼斯分布）的概率混
合开始，将分量概率密度替换为条件概率分布。这⾥，我们考虑线性回归模型的混合（14.5.1
节）以及logistic回归模型的混合（14.5.2节）。在最简单的情况下，混合系数与输⼊变量⽆关。
如果我们进⾏进⼀步的泛化，使得混合系数同样依赖于输⼊，那么我们就得到了专家混合
（mixture of experts）模型。最后，如果我们使得混合模型的每个分量本⾝都是⼀个专家混合模
型，那么我们就得到了专家层次混合模型。
14.5.1 线性回归模型的混合
⽤概率形式表⽰线性回归模型的众多优点之⼀是它可以⽤作更复杂的概率模型的⼀个分量。
例如，将表⽰线性回归模型的条件概率分布看成有向概率图中的⼀个结点，即可完成这件事。
这⾥，我们考虑⼀个简单的例⼦，对应于线性回归模型的混合，它是9.2节讨论的⾼斯混合模型
的⼀个直接推⼴，推⼴到了条件⾼斯分布的情形。
因此，我们考虑K个线性回归模型，每个模型都由⾃⼰的权参数wk控制。在许多应⽤中，
⽐较合适的做法是对所有K个分量使⽤⼀个共同的噪声⽅差，由精度参数β控制，这正是我们这
⾥讨论的情形。我们再次将注意⼒集中于单⼀⽬标变量t，但是推⼴到多个输出是很容易的。如
果我们将混合系数记作πk，那么混合概率分布可以写成
p(t | θ) =
K∑
k=1
πkN (t | wTkϕ, β
−1) (14.34)
其中θ表⽰模型中所有可调节参数的集合，即W = {wk},π = {πk}以及β。给定⼀组观测数据
集{ϕn, tn}，这个模型的对数似然函数的形式为
ln p(t | θ) =
N∑
n=1
ln
(
K∑
k=1
πkN (tn | wTkϕn, β
−1)
)
(14.35)
449
