机器学习、深度学习面试题合集（300+）.pdf

机器学习、深度学习面试题合集 机器学习、深度学习面试题合集是机器学习和深度学习领域的常见面试题的集合。该合集涵盖了机器学习和深度学习的基本概念、算法和模型，包括支持向量机（SVM）、TensorFlow、Gradient Boosting Decision Tree（GBDT）、XGBoost、K-Means、K-NN、逻辑回归（LR）等。 1. 支持向量机（SVM） 支持向量机（SVM）是一种面向数据的分类算法，目标是确定一个分类超平面，以将不同的数据分隔开。SVM 包括三种模型：线性可分支持向量机、线性支持向量机和非线性支持向量机。线性可分支持向量机通过硬间隔最大化，学习一个线性的分类器；线性支持向量机通过软间隔最大化，学习一个线性的分类器；非线性支持向量机通过使用核技巧和软间隔最大化，学习一个非线性的分类器。 2. TensorFlow 的计算图 TensorFlow 是一个通过计算图的形式来表述计算的编程系统。计算图可以看作是一种有向图，TensorFlow 中的每一个计算都是计算图上的一个节点，而节点之间的边描述了计算之间的依赖关系。 3. GBDT 和 XGBoost 的区别 XGBoost 类似于 GBDT 的优化版，不论是在精度还是效率上都有了提升。与 GBDT 相比，XGBoost 的优点包括：使用泰勒展式二项逼近损失函数，而不是像 GBDT 里的就是一阶导数；对树的结构进行了正则化约束，防止模型过度复杂，降低了过拟合的可能性；节点分裂的方式不同，GBDT 是用的基尼系数，XGBoost 是经过优化推导后的。 4. 欧氏距离和曼哈顿距离 在 k-means 或 kNN 中，我们使用欧氏距离来计算最近的邻居之间的距离，而不是曼哈顿距离。曼哈顿距离只计算水平或垂直距离，有维度的限制。欧氏距离可以用于任何空间的距离计算问题，因为数据点可以存在于任何空间，欧氏距离是更可行的选择。 5. 特征工程 特征工程是机器学习中的一个重要步骤，目的是将原始数据转换为模型可以使用的形式。特征工程包括特征提取、特征转换、特征选择等步骤。 6. 逻辑回归（LR） 逻辑回归是一种广义的线性回归模型，用于解决二分类问题。逻辑回归的优点包括：可以处理非线性关系，模型简单易懂，易于实现。 7. LR 和 SVM 的联系与区别 LR 和 SVM 都可以处理分类问题，且一般都用于处理线性二分类问题。在很多实验中，两种算法的结果是很接近的。但是，LR 是参数模型，SVM 是非参数模型。从目标函数来看，LR 采用的是 Logistical Loss，SVM 采用的是 hinge loss。 8.Overfitting 的解决方法 Overfitting 是机器学习中一个常见的问题，解决方法包括：dropout、regularization、batch normalization 等。 9. LR 和线性回归的区别与联系 逻辑回归和线性回归都是广义的线性回归，经典线性模型的优化目标函数是最小二乘，而逻辑回归则是似然函数。逻辑回归的模型本质上是一个线性回归模型，但逻辑回归可以减小预测范围，将预测值限定为 [0,1]。 10. XGBoost 的优势 XGBoost 使用了一阶和二阶偏导，二阶导数有利于梯度下降的更快更准。使用泰勒展开取得二阶倒数形式，可以在不选定损失函数的情况下使用梯度下降算法。