没有合适的资源?快使用搜索试试~ 我知道了~
CS231n课程笔记翻译:神经网络笔记 2 - 知乎专栏1
需积分: 0 0 下载量 15 浏览量
2022-08-03
15:19:59
上传
评论
收藏 1.43MB PDF 举报
温馨提示
试读
14页
第一种是先对数据做零中心化(zero-centered)处,然后每个维 第二种方法是对每个维度都做归一 第三张是49张
资源详情
资源评论
资源推荐
CS231n
课
程笔
记
翻
译
:
神
经网络
笔
记
2
译
者
注
:
本
文
智
能
单
元
首
发
,
译
自
斯
坦
福
CS231n
课
程笔
记
Neural Nets notes 2
,
课
程
教
师
Andrej Karpathy
授
权
翻
译
。
本
篇
教
程
由
杜
客
翻
译
完
成
,
堃堃
进
行
校
对
修
改
。
译
文
含
公
式
和
代
码
,
建
议
PC
端
阅
读
。
原
文
如
下
内
容
列
表
:
设
置
数据
和
模
型
数据
预
处
理
权
重
初
始
化
批
量
归
一
化
(
Batch Normalization
)
正
则化
(
L2/L1/Maxnorm/Dropout
)
损
失
函
数
小
结
设
置
数据
和
模
型
在
上一
节
中介
绍
了
神
经
元
的
模
型
,
它
在
计
算
内
积
后
进
行
非
线
性
激
活
函
数
计
算
,
神
经网络
将
这
些
神
经
元
组织
成
各
个
层
。
这
些
做
法
共
同
定
义了
评
分函
数
(
score function
)
的
新
形式
,
该
形式
是
从
前
面
线
性
分
类
章
节
中
的
简
单
线
性
映
射
发
展
而
来
的
。
具
体
来
说
,
神
经网络
就
是
进
行
了
一
系
列
的
线
性
映
射
与
非
线
性
激
活
函
数
交
织
的
运
算
。
本
节
将
讨论
更
多
的
算
法
设计
选
项
,
比
如
数据
预
处
理
,
权
重
初
始
化
和
损
失
函
数
。
数据
预
处
理
关
于
数据
预
处
理
我
们
有
3
个
常
用
的
符
号
,
数据
矩
阵
X
,
假
设
其
尺寸
是
[N x D]
(
N
是
数据
样本
的
数
量
,
D
是
数据
的
维
度
)
。
均
值
减
法
(
Mean subtraction
)
是
预
处
理
最
常
用
的
形式
。
它对
数据
中
每
个
独
立
特
征
减
去
平
均
值
,
从
几
何
上
可
以
理
解
为
在
每
个
维
度
上
都
将
数据
云
的
中
心
都迁
移
到
原
点
。
在
numpy
中
,
该
操
作
杜
客
7
个
月
前
可
以
通过
代
码
X -= np.mean(X, axis=0)
实
现
。
而
对
于
图
像
,
更
常
用
的
是
对
所
有
像
素
都
减
去
一个
值
,
可
以
用
X -= np.mean(X)
实
现
,
也
可
以
在
3
个
颜
色
通道
上
分别
操
作
。
归
一
化
(
Normalization
)
是
指
将
数据
的
所
有
维
度
都
归
一
化
,
使
其
数
值
范
围
都近
似
相
等
。
有
两
种
常
用
方
法
可
以
实
现
归
一
化
。
第
一
种
是
先
对
数据
做
零
中
心
化
(
zero-centered
)
处
理
,
然
后
每
个
维
度
都
除
以
其
标
准
差
,
实
现
代
码
为
X /= np.std(X, axis=0)
。
第
二
种
方
法
是
对
每
个
维
度
都
做
归
一
化
,
使
得
每
个
维
度
的
最
大
和
最
小
值
是
1
和
-1
。
这
个
预
处
理
操
作
只
有
在
确
信
不
同
的
输
入
特
征
有
不
同
的
数
值
范
围
(
或
计
量
单
位
)
时
才
有
意
义
,
但
要
注
意
预
处
理
操
作
的
重
要
性
几
乎
等
同
于
学
习
算
法
本
身
。
在图
像
处
理
中
,
由
于
像
素
的
数
值
范
围
几
乎
是
一
致
的
(
都
在
0-255
之
间
),
所
以
进
行
这
个
额
外
的
预
处
理
步
骤
并
不
是
很必
要
。
—————————————————————————————————————————
—
一
般
数据
预
处
理
流
程
:
左
边
:
原
始
的
2
维
输
入
数据
。
中
间
:
在
每
个
维
度
上
都
减
去
平
均
值
后
得
到
零
中
心
化
数据
,
现
在
数据
云
是
以
原
点
为中
心
的
。
右
边
:
每
个
维
度
都
除
以
其
标
准
差
来
调
整
其
数
值
范
围
。
红
色
的
线
指
出
了
数据
各
维
度
的
数
值
范
围
,
在
中
间
的
零
中
心
化
数据
的
数
值
范
围
不
同
,
但
在
右
边
归
一
化
数据
中
数
值
范
围
相
同
。
—————————————————————————————————————————
—
PCA
和
白
化
(
Whitening
)
是
另
一
种
预
处
理
形式
。
在
这
种
处
理
中
,
先
对
数据
进
行
零
中
心
化
处
理
,
然
后
计
算
协
方
差
矩
阵
,
它展
示
了
数据
中
的相
关
性
结
构
。
#
假设输入数据矩阵
X
的尺寸为
[N x D]
X -= np.mean(X, axis = 0) #
对数据进行零中心化
(
重要
)
cov = np.dot(X.T, X) / X.shape[0] #
得到数据的协方差矩阵
数据
协
方
差
矩
阵
的
第
(i, j)
个
元
素
是
数据
第
i
个
和
第
j
个
维
度
的
协
方
差
。
具
体
来
说
,
该
矩
阵
的
对
角
线
上
的
元
素
是
方
差
。
还
有
,
协
方
差
矩
阵
是
对
称
和半
正
定
的
。
我
们
可
以
对
数据
协
方
差
矩
阵
进
行
SVD
(
奇
异
值
分
解
)
运
算
。
U,S,V = np.linalg.svd(cov)
U
的
列
是
特
征
向
量
,
S
是
装
有
奇
异
值
的
1
维
数
组
(
因
为
cov
是
对
称
且
半
正
定
的
,
所
以
S
中
元
素
是
特
征
值
的
平
方
)
。
为了
去
除
数据
相
关
性
,
将已
经
零
中
心
化
处
理
过
的
原
始
数据
投
影
到
特
征
基
准
上:
Xrot = np.dot(X,U) #
对数据去相关性
注
意
U
的
列
是标
准
正
交
向
量
的
集
合
(
范
式
为
1
,
列
之
间
标
准
正
交
),
所
以
可
以
把
它
们
看
做
标
准
正
交
基
向
量
。
因
此
,
投
影
对
应
x
中
的
数据
的
一个
旋
转
,
旋
转
产
生
的
结
果
就
是
新
的
特
征
向
量
。
如
果
计
算
Xrot
的
协
方
差
矩
阵
,
将
会
看
到
它
是
对
角
对
称
的
。
np.linalg.svd
的
一个
良
好
性
质
是
在
它
的
返
回
值
U
中
,
特
征
向
量
是
按
照特
征
值
的
大
小
排
列
的
。
我
们
可
以
利
用
这
个
性
质
来
对
数据
降
维
,
只
要
使
用
前
面
的
小
部
分
特
征
向
量
,丢
弃
掉
那
些
包
含
的
数据
没
有
方
差
的
维
度
。
这
个
操
作也
被
称
为主
成
分分
析
(
Principal Component Analysis
简称
PCA
)
降
维
:
Xrot_reduced = np.dot(X, U[:,:100]) # Xrot_reduced
变成
[N x 100]
经
过
上
面
的
操
作
,
将
原
始
的
数据
集
的
大
小
由
[N x D]
降
到
了
[N x 100]
,
留
下
了
数据
中
包
含
最
大
方
差
的
100
个
维
度
。
通
常
使
用
PCA
降
维
过
的
数据
训
练线
性
分
类
器
和
神
经网络
会
达
到
非
常
好
的
性
能
效
果
,
同
时
还
能
节
省
时
间
和
存
储
器
空
间
。
最
后
一个
在
实
践
中会
看
见
的
变
换
是
白
化
(
whitening
)
。
白
化
操
作
的
输
入
是
特
征
基
准
上
的
数据
,
然
后
对
每
个
维
度
除
以
其
特
征
值
来
对
数
值
范
围
进
行
归
一
化
。
该
变
换
的
几
何
解
释
是
:
如
果
数据
服
从
多
变
量
的
高
斯
分
布
,
那
么
经
过
白
化
后
,
数据
的
分
布将
会
是
一个
均
值
为
零
,且
协
方
差
相
等
的矩
阵
。
该
操
作
的
代
码
如
下:
#
对数据进行白化操作
:
#
除以特征值
Xwhite = Xrot / np.sqrt(S + 1e-5)
警
告
:
夸大
的
噪
声
。
注
意
分
母
中
添
加
了
1e-5
(
或
一个
更
小
的
常
量
)
来
防
止
分
母
为
0
。
该
变
换
的
一
个
缺
陷
是
在
变
换
的
过
程
中
可
能
会
夸大
数据
中
的
噪
声
,
这
是
因
为
它将
所
有
维
度
都
拉
伸
到
相
同
的
数
值
范
围
,
这
些
维
度
中也
包
含
了
那
些
只
有极
少差
异性
(
方
差小
)
而
大多
是
噪
声
的
维
度
。
在
实
际
操
作
中
,
这
个
问题
可
以
用
更
强
的
平
滑
来
解
决
(
例
如
:
采
用
比
1e-5
更
大
的
值
)
。
—————————————————————————————————————————
—
剩余13页未读,继续阅读
高中化学孙环宇
- 粉丝: 9
- 资源: 338
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- XILINXFPGA源码Xilinxspratan3xcs100E(VGAPS2)
- XILINXFPGA源码XilinxSPARTAN-3E入门开发板实例
- XILINXFPGA源码XilinxSdramVerilog和VHDL版本文档
- 物联网智能家居方案-基于Nucleo-STM32L073&机智云(大赛作品,文档齐全,可直接运行)(文档加Matlab源码)
- XILINXFPGA源码XilinxISE9.xFPGACPLD设计源码
- 成都市地图含高新区(高新南区,高新西区),天府新区,东部新区虚拟行政区划
- XILINXFPGA源码XilinxEDK设计试验
- XILINXFPGA源码XilinxEDKMicroBlaze内置USB固件程序
- 基于 django 的视频点播后台管理系统源代码+数据库
- 基于Java的网上医院预约挂号系统的设计与实现(部署视频)-kaic.mp4
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0