机器学习概述.pptx

"机器学习概述.pptx" 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。这些算法可以从数据中自动分析获得规律，并利用规律对未知数据进行预测。 1.1 什么是机器学习？ 机器学习是指统计机器学习，也就是计算机系统通过运用数据及统计方法提高系统性能的学习过程。机器学习研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 1.2 机器学习的发展历史 机器学习属于人工智能的一块。人工智能的研究往往涉及到对人的智能本身的研究。其他关于或其他人造系统的智能也普遍被认为是人工智能的相关的研究课题。人工智能的发展历史可以追溯到20世纪40年代和50年代，来自不同领域的一批科学家开始探讨制造人工大脑的可能性。1956年，人工智能被确立为一门学科。 Walter Pitts和Warren McCulloch分析了理想化的人工神经元网络，并且指出了它们进行简单逻辑运算的机制。他们是最早描述所谓“神经网络”的学者。1951年马文·闵斯基与Dean Edmonds一道建造了第一台神经网络机，称为SNARC。 Arthur Samuel在五十年代中期和六十年代初开发的西洋棋程序的棋力已经可以挑战具有相当水平的业余爱好者。1956年达特矛斯会议提出的断言之一是“学习或者智能的任何其他特性的每一个方面都应能被精确地加以描述，使得机器可以对其进行模拟。”这一事件被广泛承认为AI诞生的标志。 1.3 机器学习的现状 机器学习的最新阶段始于1986年。机器学习进入新阶段的重要表现在下列诸方面：机器学习已成为新的边缘学科并在高校形成一门课程。它综合应用心理学、生物学和神经生理学以及数学、自动化和计算机科学形成机器学习理论基础。 结合各种学习方法，取长补短的多种形式的集成学习系统研究正在兴起。机器学习与人工智能各种基础问题的统一性观点正在形成。类比学习与问题求解结合的基于案例方法已成为经验学习的重要方向。 1.4 机器学习的主要研究领域 目前最主要的应用领域有：专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图象识别、故障诊断、自然语言理解、机器人和博弈等领域。目前大部分的应用研究领域基本上集中于以下两个范畴：分类和问题求解。 分类任务要求系统依据已知的分类知识对输入的未知模式作分析，以确定输入模式的类属。相应的学习目标就是学习用于分类的准则（如分类规则）。 问题求解任务要求对于给定的目标状态，寻找一个将当前状态转换为目标状态的动作序列；机器学习在这一领域的研究工作大部分集中于通过学习来获取能提高问题求解效率的知识（如搜索控制知识，启发式知识等）。 2.1 回归问题与分类问题 经过算法预测的结果是一个连续的值，我们称这样的问题为回归问题。算法能够学会如何将数据分类到不同的类里，我们称这样的问题为分类问题。 2.2 假设模型 假设模型h代表学习算法的解决方案或函数，也称假设。例如，我们要解决房价预测问题，我们实际上是要将训练集“喂”给我们的学习算法，进而学习得一个假设h，然后将我们要预测的房屋的尺寸作为输入变量输入给h，预测出该房屋的交易价格作为输出变量输出的结果θ是影响h的参数。 2.3 代价函数 代价函数表达式：比如，在线性回归中代价函数如下形式：学习的目的便是选择出使代价函数最小的模型参数θ。 2.4 模型选择 模型选择的方法为（训练集60%，交叉验证集20%，测试集20%）：使用训练集训练出若干个模型，用这些模型分别对交叉验证集计算得出交叉验证误差（交叉验证集用来对刚训练出的模型进行预报，以得出最佳的模型），选取代价函数值最小的模型，用步骤3中选出的模型对测试集进行预测。 机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。这些算法可以从数据中自动分析获得规律，并利用规律对未知数据进行预测。