算法工程师-机器学习面试题总结

[TOC] # 一、机器学习相关 ## 1、基本概念 - [x] [1-1 简述解决一个机器学习问题时，你的流程是怎样的？](#1-1) - [x] [1-2 损失函数是什么，如何定义合理的损失函数？](#1-2) - [ ] [1-3 回归模型和分类模型常用损失函数有哪些？各有什么优缺点](#1-3) - [ ] [1-4 什么是结构误差和经验误差？训练模型的时候如何判断已经达到最优？](#1-4) - [ ] [1-5 模型的“泛化”能力是指？如何提升模型泛化能力？](#1-5) - [x] [1-6 如何选择合适的模型评估指标？AUC、精准度、召回率、F1值都是什么？如何计算？有什么优缺点？](#1-6) - [x] [1-7 什么是混淆矩阵？](#1-7) - [x] [1-8 ROC曲线如何绘制？相比P-R曲线有什么特点？](#1-8) - [x] [1-9 如何评判模型是过拟合还是欠拟合？遇到过拟合或欠拟合时，你是如何解决？](#1-9) - [ ] [1-10 你是如何针对应用场景选择合适的模型？](#1-10) - [x] [1-11 如何选择模型中的超参数？有什么方法，并说说其优劣点](#1-11) - [ ] [1-12 误差分析是什么？你是如何进行误差分析？](#1-12) - [ ] [1-13 你是如何理解模型的偏差和方差？什么样的情况是高偏差，什么情况是高方差？](#1-13) - [ ] [1-14 出现高偏差或者高方差的时候你有什么优化策略？](#1-14) - [ ] [1-15 奥卡姆剃刀定律是什么？对机器学习模型优化有何启发？举例说明](#1-15) - [x] [1-16 线性模型和非线性模型的区别？哪些模型是线性模型，哪些模型是非线性模型？](#1-16) - [ ] [1-17 生成式模型和判别式模型的区别？哪些模型是生成式模型，哪些模型是判别式模型？](#1-17) ## 2、经典机器学习 ### **特征工程** - [ ] [2-1-1 你是怎样理解“特征”？](#2-1-1) - [ ] [2-1-2 给定场景和问题，你如何设计特征？（特征工程方法论）](#2-1-2) - [ ] [2-1-3 开发特征时候做如何做数据探索，怎样选择有用的特征？](#2-1-3) - [ ] [2-1-4 你是如何做数据清洗的？举例说明](#2-1-4) - [ ] [2-1-5 如何发现数据中的异常值，你是如何处理？](#2-1-5) - [ ] [2-1-6 缺失值如何处理？](#2-1-6) - [ ] [2-1-7 对于数值类型数据，你会怎样处理？为什么要做归一化？归一化有哪些方法？离散些方法，离散化和归一化有哪些优缺点？](#2-1-7) - [ ] [2-1-8 标准化和归一化异同？](#2-1-8) - [ ] [2-1-9 你是如何处理CTR类特征？](#2-1-9) - [ ] [2-1-10 讲解贝叶斯平滑原理？以及如何训练得到平滑参数](#2-1-10) - [ ] [2-1-11 类别型数据你是如何处理的？比如游戏品类，地域，设备](#2-1-11) - [ ] [2-1-12 序号编码、one-hot编码、二进制编码都是什么？适合怎样的类别型数据？](#2-1-12) - [ ] [2-1-13 时间类型数据你的处理方法是什么？原因？](#2-1-13) - [ ] [2-1-14 你怎样理解组合特征？举个例子，并说明它和单特征有啥区别](#2-1-14) - [ ] [2-1-15 如何处理高维组合特征？比如用户ID和内容ID？](#2-1-15) - [ ] [2-1-16 如何理解笛卡尔积、外积、内积？](#2-1-16) - [ ] [2-1-17 文本数据你会如何处理？](#2-1-17) - [ ] [2-1-18 文本特征表示有哪些模型？他们的优缺点都是什么？](#2-1-18) - [ ] [2-1-19 讲解TFF原理，它有什么优点和缺点？针对它的缺点，你有什么优化思路？](#2-1-19) - [ ] [2-1-20 N-gram算法是什么？有什么优缺点？](#2-1-20) - [ ] [2-1-21 讲解一下word2vec工作原理？损失函数是什么？](#2-1-21) - [ ] [2-1-22 讲解一下LDA模型原理和训练过程？](#2-1-22) - [ ] [2-1-23 Word2vec和LDA两个模型有什么区别和联系？](#2-1-23) - [ ] [2-1-24 Skin-gram和cbow有何异同？](#2-1-24) - [ ] [2-1-25 图像数据如何处理？有哪些常用的图像特征提取方法](#2-1-25) - [ ] [2-1-26 你是怎样做特征选择的？卡方检验、信息值（IV）、VOE都是如何计算？](#2-1-26) - [ ] [2-1-27 计算特征之间的相关性方法有哪些？有什么优缺点](#2-1-27) **基础算法原理和推导** **KNN** - [x] [2-2-1 Knn建模流程是怎样的？](#2-2-1) - [x] [2-2-2 Knn优缺点是什么？](#2-2-2) - [x] [2-2-3 Knn适合什么样的场景和数据类型？](#2-2-3) - [x] [2-2-4 常用的距离衡量公式都有哪些？具体说明它们的计算流程，以及使用场景？](#2-2-4) - [x] [2-2-5 超参数K值过大或者过小对结果有什么影响，你是如何选择K值？](#2-2-5) - [x] [2-2-6 介绍一下Kd树？如何建树，以及如何搜索最近节点？](#2-2-6) · **支持向量机** - [ ] [2-3-1 简单讲解SVM模型原理？](#2-3-1) - [ ] [2-3-2 SVM为什么会对缺失值敏感？实际应用时候你是如何处理？](#2-3-2) - [ ] [2-3-3 SVM为什么可以分类非线性问题？](#2-3-3) - [ ] [2-3-4 常用的核函数有哪些？你是如何选择不同的核函数的？](#2-3-4) - [ ] [2-3-5 RBF核函数一定线性可分么？为什么](#2-3-5) - [ ] [2-3-6 SVM属于线性模型还是非线性模型？为什么？](#2-3-6) - [ ] [2-3-7 训练误差为0的SVM分类器一定存在吗？说明原因？](#2-3-7) **朴素贝叶斯模型** - [ ] [2-4-1 讲解贝叶斯定理？](2-4-1) - [ ] [2-4-2 什么是条件概率、边缘概率、联合概率？](#2-4-2) - [ ] [2-4-3 后验概率最大化的含义是什么？](#2-4-3) - [ ] [2-4-4 朴素贝叶斯模型如何学习的？训练过程是怎样？](#2-4-4) - [ ] [2-4-5 你如何理解生成模型和判别模型？](#2-4-5) - [ ] [2-4-6 朴素贝叶斯模型“朴素”体现在哪里？存在什么问题？有哪些优化方向？](#2-4-6) - [ ] [2-4-7 什么是贝叶斯网络？它能解决什么问题？](#2-4-7) - [ ] [2-4-8 为什么说朴素贝叶斯也是线性模型而不是非线性模型呢？](#2-4-8) **线性回归** - [ ] [2-5-1 线性回归的基本思想是？](#2-5-1) - [ ] [2-5-2 什么是“广义线性模型”？](#2-5-2) - [ ] [2-5-3 线性回归常用的损失函数有哪些？优化算法有哪些？](#2-5-3) - [ ] [2-5-4 线性回归适用什么类型的问题？有哪些优缺点？](#2-5-4) - [ ] [2-5-5 请用最小二乘法推倒参数更新公式？](#2-5-5) **逻辑回归** - [ ] [2-6-1 逻辑回归相比于线性回归有什么异同？](#2-6-1) - [ ] [2-6-2 逻辑回归和广义线性模型有何关系？](#2-6-2) - [ ] [2-6-3 逻辑回归如何处理多标签分类？](#2-6-3) - [ ] [2-6-4 为什么逻辑回归需要进行归一化或者取对数？](#2-6-4) - [ ] [2-6-5 为什么逻辑回归把特征离散化之后效果会提升？](#2-6-5) - [ ] [2-6-6 类别不平衡问题你是如何处理的？什么是过采样，什么是欠采样？举例](#2-6-6) - [ ] [2-6-7 讲解L1和L2正则，它们都有什么作用，解释为什么L1比L2更容易产生稀疏解；对于存在线性相关的一组特征，L1正则如何选择特征？](#2-6-7) - [ ] [2-6-8 使用交叉熵作为损失函数，梯度下降作为优化方法，推倒参数更新公式](#2-6-8) - [ ] [2-6-9 代码写出训练函数](#2-6-9) **FM模型** - [ ] [2-7-1 FM模型与逻辑回归相比有什么优缺点？](#2-7-1) - [ ] [2-7-2 为什么FM模型计算复杂度时O(kn)？](#2-7-2) - [ ] [2-7-3 介绍FFM场感知分解机器（Field-aware Factorization Machine），说说与FM异同？](#2-7-3) - [ ] [2-7-4 使用FM进行模型训练时候，有哪些核心参数对模型效果影响大？](#2-7-4) - [ ] [2-7-5 如何从神经网络的视角看待FM模型？](#2-7-5) **决策树** - [x] [2-8-1 讲解完