吴恩达机器学习课后练习-ex2

所用到的文件 ex2.m-Octave/MATLAB脚本，该脚本引导您完成ex2 reg.m-Octave/MATLAB脚本，用于ex2data1.txt练习的后面部分- Ex2data1.txt练习的前半部分的训练集- ex2data2.txt练习的后半部分的训练集提交。m-提交脚本，用于将您的解决方案发送到我们的服务器 mapFeature.m-生成多项式特征的函数 plot decision boundary.m-绘制分类器决策边界的函数 [?]plot data.m-打印二维分类数据的函数 [？]sigmoid.m-sigmoid功能 [？]costFunction.m-Logisti 【吴恩达机器学习课后练习-ex2】是关于机器学习的一个实践环节，主要涉及到的是逻辑回归模型的构建和优化。在这个练习中，你需要使用MATLAB或者Octave环境，配合提供的脚本来完成一系列任务。 你需要理解逻辑回归（Logistic Regression）的基本概念。它是一种分类算法，尤其适用于二分类问题。逻辑回归通过一个Sigmoid函数将线性回归的连续输出映射到(0,1)之间，从而得到一个概率估计，这个概率可以用来判断样本属于某一类的概率。 1. **可视化数据（Visualize Data）**： 使用`plotData`函数可以绘制出训练数据的分布，帮助我们直观地理解数据的特征。数据分为两类，正例（positive examples）和负例（negative examples），在二维图上分别以不同标记表示。这对于理解和调试模型是非常有用的。 2. **sigmoid函数的实现（Implementing the Sigmoid Function）**： Sigmoid函数是逻辑回归的核心，它将实数值映射到0到1之间，公式为`g(z) = 1 / (1 + e^(-z))`。你需要在`sigmoid.m`文件中实现这个函数，使其能够处理向量和矩阵输入，确保函数的正确性和效率。 3. **成本函数与梯度（Cost Function and Gradient）**： 逻辑回归的成本函数是交叉熵损失函数，公式为`J(θ) = -1/m [ Σ(yi log(hθ(xi)) + (1-yi) log(1-hθ(xi))) ]`，其中m是样本数，yi是真实标签，hθ(xi)是预测概率。同时，你需要计算梯度，即成本函数关于每个参数θj的偏导数，用于后续的优化过程。`costFunction.m`文件包含了这部分的实现，完成后的成本函数在给定初始参数时应该返回约0.693。 4. **参数学习（Learning Parameters with fminunc）**： 在`costFunction.m`文件中，你可以使用内置的优化工具`fminunc`来最小化成本函数，找到最佳的参数θ。`fminunc`是用于非线性优化的函数，它可以找到成本函数的局部最小值。通过最小化成本函数，我们得到的θ值将使得模型的预测尽可能接近真实标签。 5. **正则化逻辑回归（Regularized Logistic Regression）**： 在实际问题中，为了避免过拟合，我们通常会添加正则化项。`costFunctionReg.m`文件中包含了正则化的成本函数，正则化项通常是L2范数，即`λ/2m Σ(θj)^2`，其中λ是正则化参数。 6. **预测函数（Prediction Function）**： 实现`predict.m`函数，根据θ和特征向量x进行分类。当hθ(x) > 0.5时，预测为1（positive），否则预测为0（negative）。 7. **决策边界（Decision Boundary）**： `plotDecisionBoundary.m`函数用于绘制分类器的决策边界，帮助我们直观地看到模型是如何将数据分成两类的。 在练习过程中，你会经历数据预处理、模型构建、优化以及结果评估的完整流程，这是理解机器学习模型工作原理的关键步骤。通过吴恩达的课程，你不仅会掌握逻辑回归，还能提升编程和问题解决的能力。