自实1701_李星毅_L4习题1

Logistic 回归、Fisher 判别函数、K 均值聚类法 Logistic 回归是机器学习中的一种常用算法，它主要用于二分类问题。Logistic 回归的误差函数为： 𝐸𝑖𝑛 𝑤 =1𝑁∑𝑁1 ln (1 + exp ( ― 𝑦𝑛𝑤𝑇𝑥𝑛)) 其中，𝑦𝑛取值为+1或-1，𝑤是参数向量，𝑥𝑛是输入向量，𝑁是样本数量。 推导出该误差函数的梯度表达式需要使用链式法则和求和的性质。对于每个样本，将误差函数展开： 𝐸𝑖𝑛 𝑤 = ln (1 + exp ( ― 𝑦𝑛𝑤𝑇𝑥𝑛)) 然后，对于每个样本，计算梯度： ∂𝐸𝑖𝑛 𝑤/∂𝑤 = - 𝑦𝑛𝑥𝑛 / (1 + exp ( ― 𝑦𝑛𝑤𝑇𝑥𝑛)) 接着，对所有样本求和： ∂𝐸𝑖𝑛 𝑤/∂𝑤 = - ∑ 𝑦𝑛𝑥𝑛 / (1 + exp ( ― 𝑦𝑛𝑤𝑇𝑥𝑛)) Fisher 判别函数是一种常用的降维方法，它可以将高维空间中的数据投影到低维空间中，从而使数据更易于分类。Fisher 判别函数的目的是找到一个投影方向，使得投影后的数据点之间的距离最大化。 Fisher 判别函数的公式为： 𝑊 = arg max |𝑆𝑏/𝑆𝑤| 其中，𝑆𝑏是between-class covariance matrix，𝑆𝑤是within-class covariance matrix。 在给定的例子中，我们需要使用 Fisher 判别函数法来求出最佳投影方向 𝑊。计算每一类的中心： 𝜇1 = (5+7+10+11.5+14+12)/6 𝜇2 = (35+39+34+37)/4 然后，计算类内离差阵： 𝑆𝑤 = 𝑆1 + 𝑆2 其中，𝑆1和𝑆2是每一类的covariance matrix。 接着，计算类间离差阵： 𝑆𝑏 = (𝜇1 - 𝜇2)(𝜇1 - 𝜇2)ᵀ 计算投影方向 𝑊： 𝑊 = 𝑆𝑤⁻¹𝑆𝑏 K 均值聚类法是一种常用的聚类算法，它可以将数据分成多个类别。K 均值聚类法的步骤为： 1. 随机初始化类心 2. 将每个样本分配到最近的类心 3. 更新类心 4. 重复步骤2和3直到类心收敛 在给定的例子中，我们需要使用 K 均值聚类法将数据聚类成 3 类。随机初始化三类的类心。然后，对每个样本计算其所属的类别，并更新类心。重复这个过程直到类心收敛。 在这个例子中，我们可以看到，使用 K 均值聚类法可以将数据聚类成三类，每类的类心分别为： 𝜇1 = (2.5, 6.5) 𝜇2 = (5.5, 4.5) 𝜇3 = (7.5, 3.5) 这个例子展示了 Logistic 回归、Fisher 判别函数和 K 均值聚类法的应用，它们都是机器学习中常用的算法，可以用于解决分类和聚类问题。