没有合适的资源?快使用搜索试试~ 我知道了~
A.1 线性代数向量的模向量a 的模∥a∥为向量的范数在线性代数中,范数(norm)是一个表示“长度”概念的函数,为向量空间内的所有向量赋予非零的正长度或大小。
资源详情
资源评论
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/86312568/bg1.jpg)
附录 A 数学基础
在介绍神经网络模型之前,我们先介绍一些数学基础知识,包括线性代数、
概率论和优化中的基本概念。
A.1 线性代数
A.1.1 向量
在线性代数中,标量(Scalar)是一个实数,而向量(Vector)是指 n 个实
数组成的有序数组,称为 n 维向量。如果没有特别说明,一个 n 维向量一般表
示列向量,即大小为 n × 1 的矩阵。
a =
a
1
a
2
.
.
.
a
n
, (A.1)
其中,a
i
称为向量 a 的第 i 个分量,或第 i 维。
为简化书写、方便排版起见,有时会以加上转置符号 T 的行向量(大小为
1 ×n 的矩阵)表示列向量。
a = [a
1
, a
2
, ··· , a
n
]
⊤
(A.2)
向量符号一般用黑体小写字母 a, b, c,或小写希腊字母 α, β, γ 等来表示。
![](https://csdnimg.cn/release/download_crawler_static/86312568/bg2.jpg)
A.1 线性代数 227
向量的模
向量 a 的模 ∥a∥为
∥
a
∥
=
n
i=1
a
2
i
.
(A.3)
向量的范数
在线性代数中,范数(norm)是一个表示“长度”概念的函数,为向量空
间内的所有向量赋予非零的正长度或大小。对于一个 n 维的向量 x,其常见的范
数有:
L
1
范数:
|x|
1
=
n
i=1
|x
i
|. (A.4)
L
2
范数:
∥x∥
2
=
n
i=1
x
2
i
=
√
x
T
x. (A.5)
常见的向量
全1 向量指所有值为1的向量。用1
¯
n
表示,n表示向量的维数。1
¯
K
= [1, ··· , 1]
⊤
K×1
是 K 维的全 1 向量。
one-hot 向量表示一个 n 维向量,其中只有一维为 1,其余元素都为 0。在
数字电路中,one-hot 是一种状态编码,指对任意给定的状态,状态寄存器中只
有 l 位为 1,其余位都为 0。
A.1.2 矩阵
一个大小为 m × n 的矩阵(Matrix)是一个由 m 行 n 列元素排列成的矩形
阵列。矩阵里的元素可以是数字、符号或数学式。这里,矩阵我们一般默认指
数字矩阵。
一个矩阵 A 从左上角数起的第 i 行第 j 列上的元素称为第 i, j 项,通常记为
A
i,j
或 A
ij
。
邱锡鹏:《神经网络与深度学习》 https://nndl.github.io/227
![](https://csdnimg.cn/release/download_crawler_static/86312568/bg3.jpg)
228 附录 A 数学基础
一个 n 维向量可以看作是 n × 1 的矩阵。
矩阵的基本运算
如果 A 和 B 都为 m × n 的矩阵,则 A 和 B 的加减也是 m × n 的矩阵,其每
个元素是 A 和 B 相应元素相加或相减。
(A + B)
ij
= A
ij
+ B
ij
, (A.6)
(A −B)
ij
= A
ij
− B
ij
. (A.7)
A 和 B 的点乘 A ⊙ B ∈ R
m×n
为 A 和 B 相应元素相乘:
(A ⊙B)
ij
= A
ij
B
ij
. (A.8)
一个标量 c 与矩阵 A 乘积为 A 的每个元素是 A 的相应元素与 c 的乘积
(cA)
ij
= cA
ij
. (A.9)
两个矩阵的乘积仅当第一个矩阵 A 的列数和另一个矩阵 B 的行数相等时才
能定义。如 A 是 m ×p 矩阵和 B 是 p ×n 矩阵,则乘积 AB 是一个 m ×n 的矩阵
(AB)
ij
=
p
k=1
A
ik
B
kj
(A.10)
矩阵的乘法满足结合律和分配律:
• 结合律:(AB)C = A(BC),
• 分配律:(A + B)C = AC + BC,C(A + B) = CA + CB.
m ×n 矩阵 A 的转置(Transposition)是一个 n ×m 的矩阵,记为 A
⊤
,A
⊤
第 i 行第 j 列的元素是原矩阵 A 第 j 行第 i 列的元素,
(A
⊤
)
ij
= A
ji
. (A.11)
矩阵的向量化是将矩阵表示为一个列向量。这里,vec 是向量化算子。设
A = [a
ij
]
m×n
,则
vec(A) = [a
11
, a
21
, ··· , a
m1
, a
12
, a
22
, ··· , a
m2
, ··· , a
1n
, a
2n
, ··· , a
mn
]
⊤
.
邱锡鹏:《神经网络与深度学习》 https://nndl.github.io/228
![](https://csdnimg.cn/release/download_crawler_static/86312568/bg4.jpg)
A.1 线性代数 229
常见的矩阵
对称矩阵指其转置等于自己的矩阵,即满足 A = A
⊤
。
对角矩阵(Diagonal Matrix)是一个主对角线之外的元素皆为 0的矩阵。对
角线上的元素可以为 0 或其他值。一个 n × n 的对角矩阵矩阵 A 满足:
A
ij
= 0 if i = j ∀i, j ∈ {1, ··· , n} (A.12)
对角矩阵 A 也可以记为 diag(a),a 为一个 n 维向量,并满足
A
ii
= a
i
. (A.13)
n × n 的对角矩阵矩阵 A = diag(a) 和 n 维向量 b 的乘积为一个 n 维向量
Ab = diag(a)b = a ⊙ b, (A.14)
其中 ⊙表示点乘,即 (a ⊙ b)
i
= a
i
b
i
。
单位矩阵是一种特殊的的对角矩阵,其主对角线元素为1,其余元素为 0。n
阶单位矩阵 I
n
,是一个 n × n 的方形矩阵。可以记为 I
n
= diag(1, 1, ..., 1)。
一个矩阵和单位矩阵的乘积等于其本身。
AI = IA = A (A.15)
矩阵的范数
矩阵的范数有很多种形式,这里我们定义其 p-范数为
∥A∥
p
=
m
i=1
n
j=1
|a
ij
|
p
1/p
. (A.16)
A.1.3 向量的导数
导数(Derivative)是微积分学中重要的基础概念。
对于定义域和值域都是实数域的函数 y = f (x),若 f (x) 在点 x
0
的某个邻
域 ∆x 内,极限
f
′
(x
0
) = lim
∆x→0
f(x
0
+ ∆x) − f(x
0
)
∆x
(A.17)
邱锡鹏:《神经网络与深度学习》 https://nndl.github.io/229
![](https://csdnimg.cn/release/download_crawler_static/86312568/bg5.jpg)
230 附录 A 数学基础
存在,则称函数 y = f(x) 在点 x
0
处可导,并导数为 f
′
(x
0
)。
若函数 f (x) 在其定义域包含的某区间内每一个点都可导,那么也可以说函
数 f(x) 在这个区间内可导。这样,我们可以定义函数 f
′
(x) 为函数 f(x) 的导函
数,通常也称为导数。
函数 f (x) 的导数 f
′
(x) 也可记作 ∇
x
f(x),
∂f (x)
∂x
或
∂
∂x
f(x)。
对于一个 p 维向量 x ∈ R
p
,函数 y = f (x) = f (x
1
, ··· , x
p
) ∈ R,则 y 关于
x 的导数为
∂f (x)
∂x
=
∂f (x)
∂x
1
.
.
.
∂f (x)
∂x
p
∈ R
p
. (A.18)
对于一个 p 维向量 x ∈ R
p
,函数 y = f(x) = f(x
1
, ··· , x
p
) ∈ R
q
,则 y 关于
x 的导数为
∂f (x)
∂x
=
∂f
1
(x)
∂x
1
···
∂f
q
(x)
∂x
1
.
.
.
.
.
.
.
.
.
∂f
1
(x)
∂x
p
···
∂f
q
(x)
∂x
p
∈ R
p×q
. (A.19)
导数法则
导数满足如下法则:
加(减)法则 y = f(x),z = g(x) 则
∂(y + z)
∂x
=
∂y
∂x
+
∂z
∂x
(A.20)
乘法法则 (1)若 x ∈ R
p
,y = f(x) ∈ R
q
,z = g(x) ∈ R
q
,则
∂y
⊤
z
∂x
=
∂y
∂x
z +
∂z
∂x
y (A.21)
(2)若 x ∈ R
p
,y = f(x) ∈ R
s
,z = g(x) ∈ R
t
,A ∈ R
s×t
和 x 无关,则
∂y
⊤
Az
∂x
=
∂y
∂x
Az +
∂z
∂x
A
⊤
y (A.22)
邱锡鹏:《神经网络与深度学习》 https://nndl.github.io/230
剩余27页未读,继续阅读
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![thumb](https://img-home.csdnimg.cn/images/20210720083646.png)
![avatar](https://profile-avatar.csdnimg.cn/28abc6e1d73f466480d19458294c763e_weixin_35763787.jpg!1)
萌新小白爱学习
- 粉丝: 16
- 资源: 311
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)
评论0