人工智能学习算法分类.pdf

⼈⼯智能学习算法分类 ⼀、⼈⼯智能学习算法分类 ⼈⼯智能算法⼤体上来说可以分类两类：基于统计的机器学习算法(Machine Learning)和深度学习算法(Deep Learning) 总的来说，在sklearn中机器学习算法⼤概的分类如下： 1.纯算法类 (1).回归算法 (2).分类算法 (3).聚类算法 (4)降维算法 (5)概率图模型算法 (6)⽂本挖掘算法 (7)优化算法 (8)深度学习算法 2.建模⽅⾯ (1)模型优化 (2)数据预处理 ⼆、详细算法 1.分类算法 (1).LR (Logistic Regression，逻辑回归⼜叫逻辑分类) (2).SVM (Support Vector Machine，⽀持向量机) (3).NB (Naive Bayes，朴素贝叶斯) (4).DT (Decision Tree，决策树) 1).C4.5 2).ID3 3).CART (5).集成算法 1).Bagging 2).Random Forest (随机森林) 3).GB(梯度提升,Gradient boosting) 4).GBDT (Gradient Boosting Decision Tree) 5).AdaBoost 6).Xgboost (6).最⼤熵模型 2.回归算法 (1).LR (Linear Regression，线性回归) (2).SVR (⽀持向量机回归) (3). RR (Ridge Regression，岭回归) 3.类聚算法 (1).Knn (2).Kmeans 算法 (3).层次聚类 (4).密度聚类 4.降维算法 (1).SGD (随机梯度下降) 5.概率图模型算法 (1).贝叶斯⽹络 (2).HMM (3).CRF (条件随机场) 6.⽂本挖掘算法 (1).模型 1).LDA (主题⽣成模型，Latent Dirichlet Allocation) 2).最⼤熵模型 (2).关键词提取 1).tf-idf 2).bm25 3).textrank 4).pagerank 5).左右熵 :左右熵⾼的作为关键词 6).互信息： (3).词法分析 1).分词 – HMM (因马尔科夫) – CRF (条件随机场) 2).词性标注 3).命名实体识别 (4).句法分析 1).句法结构分析 2).依存句法分析 (5).⽂本向量化 1).tf-idf 2).word2vec 3).doc2vec 4).cw2vec (6).距离计算 1).欧⽒距离 2).相似度计算 7.优化算法 (1).正则化 1).L1正则化 2).L2正则化 1 2 3 4 8.深度学习算法 (1).BP (2).CNN (3).DNN (3).RNN (4).LSTM 1 2 3 4 5 三、建模⽅⾯ 1.模型优化· (1).特征选择 (2).梯度下降 (3).交叉验证 (4).参数调优 (5).模型评估：准确率、召回率、F1、AUC、ROC、损失函数 1 2 3 4 5 2.数据预处理 (1).标准化 (2).异常值处理 (3).⼆值化 (4).缺失值填充： ⽀持均值、中位数、特定值补差、多重插补 在人工智能领域，学习算法是构建智能系统的核心，主要分为两类：基于统计的机器学习算法和深度学习算法。本文档详细介绍了这些算法的分类及其在实际应用中的具体算法。 一、机器学习算法分类 1. 纯算法类： - 回归算法：如线性回归（LR）和支持向量机回归（SVR），用于预测连续数值。 - 分类算法：包括逻辑回归（LR）、支持向量机（SVM）、朴素贝叶斯（NB）和决策树（DT，如C4.5, ID3, CART）。 - 聚类算法：如K近邻（Knn）和K-means，将数据点按相似性分组。 - 降维算法：如随机梯度下降（SGD），用于减少数据维度，简化模型复杂性。 - 概率图模型算法：如贝叶斯网络、隐马尔科夫模型（HMM）和条件随机场（CRF），用于建模事件之间的概率关系。 - 文本挖掘算法：包括主题生成模型（如LDA）、最大熵模型以及关键词提取方法（如tf-idf, bm25, textrank, pagerank等）。 - 优化算法：如正则化（L1, L2），用于防止过拟合。 - 深度学习算法：包括反向传播（BP）、卷积神经网络（CNN）、深度神经网络（DNN）、循环神经网络（RNN）和长短时记忆网络（LSTM）。 二、建模方面 1. 模型优化： - 特征选择：确定对模型最有影响力的特征。 - 梯度下降：一种常用的优化方法，用于找到模型参数的最优解。 - 交叉验证：通过数据划分提高模型泛化能力。 - 参数调优：通过网格搜索、随机搜索等方法调整模型超参数以提升性能。 - 模型评估：使用准确率、召回率、F1分数、AUC、ROC曲线和损失函数等指标来衡量模型效果。 2. 数据预处理： - 标准化：将数据按比例缩放，使得各特征在同一尺度上。 - 异常值处理：检测并处理不符合正常模式的数据点。 - 二值化：将连续或类别数据转换为二进制形式。 - 缺失值填充：采用平均值、中位数、特定值或插补方法处理缺失数据。 三、算法详细讲解 - 分类算法中的逻辑回归是一种线性模型，用于二分类问题；SVM利用间隔最大化建立分类边界；朴素贝叶斯基于贝叶斯定理和特征独立假设；决策树通过树形结构进行决策。 - 集成算法如Bagging、随机森林、梯度提升（GB）、GBDT、AdaBoost和Xgboost，通过结合多个弱学习器提升整体性能。 - 回归算法的线性回归和岭回归解决线性关系预测问题，而支持向量机回归适用于非线性场景。 - 聚类算法如Knn基于邻近度判断数据归属，K-means通过迭代寻找质心，层次聚类和密度聚类根据数据分布构造层次结构或密度区域。 - 降维算法如SGD用于优化目标函数，降低模型复杂度。 - 文本挖掘中的LDA是一种主题模型，最大熵模型用于文本分类，关键词提取方法如tf-idf基于词频逆文档频率，其他方法如bm25、textrank、pagerank等也有类似功能。 - 词法分析涉及分词（如HMM、CRF）、词性标注和命名实体识别。 - 句法分析包含句法结构分析和依存句法分析，有助于理解文本结构。 - 文本向量化方法如tf-idf、word2vec、doc2vec和cw2vec将文本转化为可输入模型的向量表示。 - 距离计算常用欧氏距离，相似度计算用于评估数据点间的相似性。 总结，人工智能学习算法涉及广泛，涵盖从基础统计学到深度学习的各个层面。正确理解和应用这些算法对于构建高效的人工智能系统至关重要。