没有合适的资源?快使用搜索试试~ 我知道了~
面向机器学习的数学(MML) 面向机器学习的数学(MML) 面向机器学习的数学(MML) ======================
资源推荐
资源详情
资源评论
前言
机器学习是一系列尝试将人类知识和推理转化为适用于构建机器和工程
自动化系统的形式的最新尝试。 随着机器学习变得越来越普遍,并且其
软件包变得更易于使用,将低级技术细节抽象化并隐藏对从业者来说是自
然而又可取的。 然而,这也带来了一个危险,从业者可能会对设计决策
和机器学习算法的限制变得无知。 对于那些对成功的机器学习算法背后
的奥秘感兴趣并希望了解更多的热情从业者,目前需要具备一系列艰巨
的先决知识:
• 编程语言和数据分析工具
• 大规模计算及相关框架
• 数学和统计学以及机器学习如何建立在其基础上
在大学里,机器学习的入门课程往往会花费课程的早期部分来介绍这些先
决条件。 出于历史原因,机器学习课程往往在计算机科学系开设,学生
通常接受第一和第二领域的培训,但在数学和统计学方面的培训较少。
当前的机器学习教材试图在书的开头或附录中挤入一两章背景数学知识。
这本书将基本机器学习概念的数学基础放在了前面,并将信息收集在一个
地方。
为什么需要另一本关于机器学习的书?
机器学习建立在数学语言之上,用于表达那些看似直观明了但实际上很难
形式化的概念。 一旦正确形式化,我们就可以使用数学工具来推导我们
设计选择的结果。 这使我们能够深入了解我们正在解决的任务以及智能
的本质。 全球数学学生普遍抱怨所学内容似乎与实际问题没有太大关联
。 我们认为机器学习是人们学习数学的一个明显而直接的动机。
1
《机器学习的数学基础》的草稿章节(2018年9月11日) ©2018年Marc Peter Deisenroth、A Al
do Faisal和Cheng Soon Ong著。由剑桥大学出版社出版。请将勘误和反馈报告发送至http://mm
l-book.com。 请不要发布或分发此文件,请链接至https://mml-book.com。
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
2 前言
本书旨在成为现代机器学习基础的广阔数学文献的指南。我们
普遍的思维
伴随着恐惧和
焦虑。 你会认为
我们在讨论
蜘蛛。”(斯特罗加茨,
2014年)
通过直接指出它们在基本机器学习问题的背景下的有用性,激发对数学
概念的需求。 为了保持书籍的简洁性,许多细节和更高级的概念被省略
了。通过掌握这里介绍的基本概念以及它们如何融入机器学习的更大背
景,读者可以找到大量的进一步学习资源,我们在各章末尾提供。 对于
具有数学背景的读者,本书提供了对机器学习的简要但准确的了解。 与
其他专注于机器学习方法和模型的书籍(MacKay, 2003b; Bishop, 2006;
Alpaydin, 2010; Rogers and Girolami, 2016; Murphy, 2012; Barber, 2012;
Shalev-Shwartz and Ben-David, 2014)或机器学习编程方面的书籍(M¨
uller and Guido, 2016; Raschka and Mirjalili, 2017; Chollet and Allaire, 2
018)不同,我们只提供了四个代表性的机器学习算法示例。 相反,我们
专注于模型本身背后的数学概念,旨在揭示它们的抽象美。 我们希望所
有读者能够更深入地理解机器学习中的基本问题,并将机器学习的实际
问题与数学模型中的基本选择联系起来。
目标受众是谁?
随着机器学习应用在社会中的广泛应用,我们相信每个人都应该对其基
本原理有一定的了解。 本书以学术数学风格编写,这使我们能够准确地
描述机器学习背后的概念。 我们鼓励那些对这种看似简洁的风格不熟悉
的读者坚持下去,并牢记每个主题的目标。 我们在文本中穿插了注释和
备注,希望能对整体有所指导。 本书假设读者具备高中数学和物理常见
的数学知识。 例如,读者应该在之前见过导数和积分,以及二维或三维
的几何向量。 从这些基础上,我们推广这些概念。 因此,本书的目标受
众包括本科大学生、夜校学习者和参加在线机器学习课程的人员。
类比音乐,人们与机器学习有三种交互方式:
敏锐的倾听者
通过提供开源软件、在线教程和基于云的工具,机器学习的民主化使用
户不必担心流程的细节。 用户可以专注于提取
来自《机器学习的数学基础》的草稿(2018-09-11)。勘误和反馈请访问https://mml-book.com。
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
前言 3
使用现成的工具从数据中获取洞察 这使得非技术专家能够从机器学习中
受益 这类似于听音乐;用户可以选择和辨别不同类型的机器学习,并从
中受益。更有经验的用户就像音乐评论家,对机器学习在社会中的应用提
出重要问题,如伦理、公平性和个人隐私。我们希望本书为思考机器学
习系统的认证和风险管理提供一个框架,并允许他们利用自己的领域专业
知识构建更好的机器学习系统。
经验丰富的艺术家
熟练的机器学习从业者能够将不同的工具和库插入到分析流程中。 典型
的从业者可能是了解机器学习接口及其用例的数据科学家或工程师,并能
够从数据中进行出色的预测。 这类似于技艺高超的音乐家演奏音乐,高
水平的从业者能够让现有的乐器焕发生机,并给观众带来乐趣。 通过这
里所介绍的数学基础,从业者将能够理解他们喜爱的方法的优势和局限
,并扩展和推广现有的机器学习算法。 我们希望这本书能够推动更加严
谨和原则性的机器学习方法的发展。
初出茅庐的作曲家
随着机器学习应用于新的领域,机器学习的开发者需要开发新的方法并
扩展现有的算法。
他们通常是需要了解机器学习的数学基础并揭示不同任务之间关系的研究
人员。
这与音乐作曲家在音乐理论的规则和结构下创作新的令人惊叹的作品类似
。 我们希望本书为那些想成为机器学习作曲家的人提供其他技术书籍的
高级概述。 社会上急需能够提出和探索新方法来应对从数据中学习的许
多挑战的新研究人员。
©
c
2018 Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong. 将由剑桥大学出版社出版。
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
1
引言和动机
1.1 寻找直觉的词语
机器学习是关于设计能够从数据中学习的算法。 目标是找到能够很好地推广
到未来数据的好模型。 挑战在于概念和词语是模糊的,机器学习系统的特定
组成部分可以抽象为不同的数学概念。 例如,在机器学习的背景下,单词“算
法”至少有两种不同的含义。 在第一种意义上,我们使用短语“机器学习算法”
来指代基于输入数据进行预测的系统。 我们将这些算法称为预测器。 在第二
种意义上,我们使用完全相同的短语“机器预测器学习算法”来指代一种能够调
整预测器的一些内部参数,以便在未来看不见的输入数据上表现良好的系统
。
在这里,我们将这种适应称为 训练 预测器。 训练
本书的第一部分描述了谈论机器学习系统的三个主要组成部分:数据、模型和
学习所需的数学概念和基础。 我们将在这里简要概述这些组件,并在第8章中再次
回顾它们,一旦我们掌握了数学语言。 增加挑战的是,同一个英文单词可能意味
着不同的数学概念,我们只能通过上下文来确定其精确含义。
我们已经提到过“算法”一词的过载使用,读者将面临其他类似的短语。 我们建议
读者从计算机科学中借鉴“类型检查”的概念,并将其应用于机器学习概念。 类型
检查允许读者检查所考虑的方程是否包含正确类型的输入和输出,以及是否混合
了不同类型的对象。
虽然不是所有的数据都是数值型的,但通常将数据以数字格式进行考虑是很有
用的。 在本书中,我们假设数据已经被适当地转换为适合计算机程序读取的数值
表示形式。 在本书中,我们将数据视为向量。
作为对细微差别的另一个说明,有三种不同的方式来思考向量:将向量视为一组数字(
计算机科学视角),将向量视为具有方向和大小的箭头(
11
《机器学习的数学基础》(2018年9月12日草稿章节) ©Marc Peter Deisenroth、A Aldo Faisal
和Cheng Soon Ong著,由剑桥大学出版社出版。请将勘误和反馈报告发送至http://mml-book.
com。 请不要发布或分发此文件,请链接至https://mml-book.com。
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
12 引言和动机
物理学观点),向量是遵循加法和缩放的对象(数学观点)
模型什么是模型? 模型是现实的简化版本,捕捉到与任务相关的真实世界的方面 模型的使
用者需要了解模型所不能捕捉到的内容,从而对其局限性有所认识。不了
解模型的局限性就像开车不知道能否左转一样。机器学习算法会根据数
据进行调整,因此其行为会随着学习而改变。 不了解机器学习模型的局
限性就像坐在一辆自动驾驶车里不知道它在训练阶段是否遇到足够多的左
转一样。 在本书中,我们使用“模型”一词来区分机器学习预测器构建的
两种思想流派:概率观点和优化观点。 读者可以参考Domingos(2012)
了解更一般的机器学习五大流派的介绍。
现在我们来到问题的关键,学习组成部分学习
机器学习。 假设我们有一种将数据表示为向量的方法并且我们有一个合
适的模型。 我们对基于数据进行训练感兴趣,以便它在未知数据上表现
良好。 在我们已经看到的数据(训练数据)上良好地预测可能只意味着
我们找到了一种很好的记忆数据的方法。 然而,这可能不会很好地推广
到未知数据,并且在实际应用中,我们经常需要让我们的机器学习系统面
对它以前没有遇到过的情况。 我们使用数值方法来找到使模型与数据“拟
合”的好参数,大多数训练方法可以被视为类似于攀登山峰的方法。 山峰
的顶点对应于某种期望性能度量的最大化。 挑战在于设计能够从过去的
数据中学习但能够很好地推广的算法。
让我们总结一下机器学习的主要概念:
• 我们使用领域知识将数据表示为向量。
•我们选择适当的模型,可以使用概率或优化视图。
•我们通过使用数值优化方法从过去的数据中学习,目的是在未知数据上
表现良好。
1.2 阅读本书的两种方式
我们可以考虑两种策略来理解机器学习的数学基础:
•从基础到更高级的概念逐步建立。 这通常是更技术性领域(如数学)中
的首选方法。 这种策略的优点是读者始终能够
来自《机器学习的数学基础》的草稿(2018-09-12)。勘误和反馈请访问https://mml-book.com。
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
剩余375页未读,继续阅读
资源评论
绝不原创的飞龙
- 粉丝: 4w+
- 资源: 1083
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功