没有合适的资源？快使用搜索试试~ 我知道了~

文库首页人工智能机器学习机器学习中的基本数学知识

机器学习中的基本数学知识

人工智能

机器学习

需积分: 21 24 下载量 131 浏览量 2017-11-30 14:31:46 上传评论 1 收藏 2.35MB PDF 举报

温馨提示

试读

22页

本的代码是使 Python 3写的。涵盖了微积分、线型代数、统计概率等高等数学内容

资源推荐

资源详情

资源评论

机学习中的基本数学知识

注：本的代码是使󰉁Python 3写的。

机学习中的基本数学知识

线性代数（linear algebra）

第公式

矩阵的操作

换位(transpose)

矩阵乘法

矩阵的各种乘积

内积

外积

元素积(element-wise product/point-wise product/Hadamard product

加

低等数学

何

范数(norm)

拉格朗乘法和KKT条件

微分（differential）

表示形式

法则

常󰤁导数公式

统计学/概率论

信息论

󰶶农熵（Shannon Entropy）

知道放到哪

机学习

激活函数

损失函数

附录

希腊字的含义和发󰵋

数学符号的含义和发󰵋

参照

线性代数（linear algebra）

第公式

f(x) = xw

+ b

这是在机学习中，最常󰤁的公式。我把这个称为机学习的第公式，实际上就是线性

分类函数(linear classifier)。

训练分类的󰋴标就是求出 (w, b)。

其中：

x 是个󰢩矩阵 [[x

, x

, . . . , x

]]。

w 是个󰢩矩阵 [[w

, w

, . . . , w

]]。

x 和 w 的维度相同。

b 是个数。

= ∑

i = 1

，称为点积(dot product)。

有时，我们也会󰤁到这个公式表示为类似下󰴯的样，它们的基本含义都是样的。

f(x) = wx + b

f(x) = w

x + b

f(x) =

→

w ⋅

→

x + b

注：这󰮟 w表示为个维数组（或者向󰮢、󰍂󰮢（vector））

, x

, . . . , x

]。

注：维数组：在数学上，可以󰇹解为向󰮢，表示多维空间上的个点。

注：由于在线性代数中，矩阵乘法 ab ≠ ba，所以对于表达式 w

，严格地说，要把󰍂󰮢（向󰮢）看做的矩阵(󰖳是󰢩的矩阵)，才符合数

学上的定义。

注：表达式

→

w ⋅

→

x和 wx是正确的，因为 w和 x是󰍂󰮢，这个符合󰍂󰮢

计算的定义。

矩阵的操作

由于，这篇章是从数学的󰤐度写的，所以我们先关注矩阵的操作。

f(x) = x + b

(w, b)

[[ , , . . . , ]]

x w

x =

∑

i=1

f(x) = wx + b

f(x) = x + b

f(x) = ⋅ + b



[ , , . . . , ]

ab ≠ ba

⋅



wx w x

换位(transpose)

矩阵的换位操作：将矩阵中的数按照对󰤐线交换。

数学公式： w

代码示：

# Matrix Transpose

m = numpy.mat([[1, 2], [3, 4]])

print("Matrix.Transpose:")

print(m.T)

''' Output:

Matrix.Transpose:

[[1 3]

[2 4]]

'''

矩阵乘法

矩阵相乘的含义

如果苹果10元，5苹果多少元？答案是： 10 ∗ 5 = 50

如果苹果10元，20元，5苹果2共多少元？

答案是：

10 20

= 10 × 5 + 20 × 2 = 90

我们可以看出矩阵相乘的约束：乘数1的数要和乘数2的󰢩数相等。

矩阵乘法满󰨤交换

m1 ⋅ m2 ≠ m2 ⋅ m1

我们再看看交换乘数后，计算的结果：

10 ∗ 5 = 50

[ ] [ ]= 10 × 5 + 20 × 2 = 90

10 20

[ ]

m1 ⋅ m2 ≠ m2 ⋅ m1

[ ]

5 2

10 × 5 10 × 2

20 × 5 20 × 2

50 20

100 40

如：数 20的含义是2苹果多少钱。

举说明它们的同之处：

m1 =

1 2

m2 =

m1 ⋅ m2的计算法是：

m1 ⋅ m2 =

1 2

1 ∗ 10 + 2 ∗ 20

m2 ⋅ m1的计算法是：

[ ][ ]

5 2

= [ ]

10 × 5

20 × 5

10 × 2

20 × 2

= [ ]

100

[ ]

[ ] [ ]

m1 = [ ]

1 2

[ ]

m2 = [ ]

[ ]

m1 ⋅ m2

m1 ⋅ m2 = = [ ]

[ ]

1 2

[ ]

1 ∗ 10 + 2 ∗ 20

[ ]

m2 ⋅ m1

m2 ⋅ m1 =

1 2

10 10 ∗ 1 10 ∗ 2

20 20 ∗ 1 20 ∗ 2

10 20

20 40

计算公式

矩阵相乘是：󰉁矩阵1的每󰢩和矩阵2的每的点积，得到个矩阵。

l ∗ m 的矩阵乘以 m ∗ n 的矩阵，形成个 l ∗ n 的矩阵。

m2 ⋅ m1 = = [ ]

10 ∗ 1

20 ∗ 1

10 ∗ 2

20 ∗ 2

[ ]

l ∗ m

m ∗ n

l ∗ n

x ⋅ y

= [ ]

⋯

⎡

⎣

⎢

⋯

⎤

⎦

⎥

= [ ]

∑

i=1

x ⋅ y

= [ ]

⎡

⎣

⎢

⋯

⎤

⎦

⎥

⋯

⎡

⎣

⎢

⋯

⎤

⎦

⎥

x ⋅ y

⎡

⎣

⎢

⋯

⎤

⎦

⎥

⎡

⎣

⎢

⋯

⎤

⎦

⎥

⎡

⎣

⎢

∑

i=1

⋯

∑

i=1

⋯

∑

i=1

⋯

∑

i=1

⎤

⎦

⎥

剩余21页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

arthurcsh

粉丝: 35
资源: 23

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

机器学习中的基本数学知识

机器学习中的数学知识

机器学习的数学基础

机器学习中的数学

机器学习的数学基础.pdf

机器学习数学基础

斯坦福大学机器学习的数学基础.pdf

机器学习入门的数学基础 下载

机器学习导论中文笔记整理.zip

机器学习相关的基础数学知识

机器学习基本数学知识-协方差矩阵\特征值\特征向量

机器学习需要的数学知识基本资料

机器学习 必备数学知识 总结（包括：线性代数、概率论、数值计算、最优化）135页

机器学习常用数学知识

机器学习中的数学修炼（数据）

机器学习数学公式汇总

张志华 - 机器学习导论讲义-良心资料

第1章机器学习导论.pptx

机器学习中常用的数学知识（英文）

一文读懂机器学习需要哪些数学知识

学好机器学习需要哪些数学知识？

人工智能机器学习数学知识

机器学习数学知识图谱

机器学习和模式识别核心数学知识

《机器学习及深度学习笔记》主要面向算法和数据挖掘方向。其中包含了基础数学知识、算法原理及推导、调包实现、手推实现等内容

机器学习数学知识与学习心得.zip

人工智能机器学习必备数学知识0604 .doc

数学老师回来了-机器学习中用到的的数学知识全面解读 极大似然估计到微积分轻松实战

最新资源

机器学习入门的数学基础下载

机器学习必备数学知识总结（包括：线性代数、概率论、数值计算、最优化）135页

数学老师回来了-机器学习中用到的的数学知识全面解读极大似然估计到微积分轻松实战