没有合适的资源?快使用搜索试试~ 我知道了~
神经网络与回归方法分析(数学建模).doc
需积分: 5 1 下载量 195 浏览量
2022-10-16
10:17:38
上传
评论
收藏 1.05MB DOC 举报
温馨提示
试读
32页
神经网络与回归方法分析(数学建模).doc
资源详情
资源评论
资源推荐
神经网络与回归方法分析(数学建模)
11
多元回归与神经网络的应用
摘要
本文主要是通过整理分析数据,以得出题目中所给出的
i
x
与
j
y
的函数关系.由于数据并不是
很充足,我们选择了所有数据为样本数据和部分数据为验证数据。我们首先采用了多元回归方
法,由于数据之间并没有明显的线性或者其它函数关系,模型很难选择,得到的结论对于
1
y
来说
残值偏大,效果很差,于是我们引用了 BP 神经网络,经过选择合适的参数,多次训练得到合适
的网络,拟合得到了相对精确的结果,并进行了验证,最后将三种模型进行了对比.
关键字: 多元线性回归 多元非线性回归 最小二乘法 牛顿法 BP 神经网络
1。问题重述
现实生活中,由于客观事物内部规律的复杂性及人们认识程度的限制,人们常收集大量的数
据,基于数据的统计分析建立合乎基本规律的数学模型,然后通过计算得到的模型结果来解决实
际问题.回归分析法和神经网络是数学建模中常用于解决问题的有效方法。本文要解决的主要问
题是:通过对所给数据的分析,分别用回归方法或神经网络来确立
x
i
与
y
i
之间的函数关系,并验
证结论。
2.问题分析
题目要求我们使用神经网络或回归方法来做相关数据处理,相比较之下,我们对回归方法比
较熟悉,所以首先选取了回归方法。得到相关函数,并分析误差,再利用神经网络模型建立合理
的网络,进行误差分析并和前者比较,得出合理的结论。
3。符号说明
m
x
的自变量个数
b
回归系数
神经网络与回归方法分析(数学建模)
12
e
残差
Q
偏差平方和
,X Y
- -
分别为两个变量序列
,
i i
X Y
的均值
w (t)
ij
第一层网络与第二层网络之间的权
值
(t)
ij
B
第二层神经元的阈值
(t)
jk
w
第二层与第三层之间的权值
(t)
jk
B
第三层神经元的阈值
jk
wD
第二层与第三层权值调整量
jk
BD
第二层与第三层阈值调整量
ij
wD
第一层与第二层权值调整量
ij
BD
第一层与第二层阈值调整量
Logsig 函数
x
e
y
�
�
�
1
1
Tansig 函数
1-)e+(1
2
x2- �
Q
偏差平方和
y
a
观察值
^
y
a
回归值
�
估计参数
h
S
回归平方和
1
h
S
(p—1)个变量所引起的回
归平方和(即除去
i
x
)
神经网络与回归方法分析(数学建模)
13
i
Q
偏回归平方和
4.模型建立与求解
4.1 多元回归方法
它是研究某个变量与另一些变量的函数关系。主要内容是从一组样本数据出发,通过
合理分析得到正确的函数关系,建立相应的表达式,并通过相关软件处理得到相应的系数。
4。1。1 多元线性回归方法
1。回归模型的一般形式为:Y=
0 1 1 2 2
...
m m
X X X
b b b b e
+ + + + +
其中
0 1
, ,...,
m
b b b
是待估计参数,e 是随机误差即残差.残差
e
服从均数为 0,方差为
2
s
的正态分布。
这就是线性回归的数学模型。
1
2
Y
y
y
ì ü
ï ï
=
í ý
ï ï
î þ
,
X =
11 14
491 494
501 504
1
1
1
x x
x x
x x
æ ö
ç ÷
ç ÷
ç ÷
ç ÷
ç ÷
ç ÷
ç ÷
è ø
K
M O M
L
L
,
0
1
2
3
4
b
b
b
b
b
b
æ ö
ç ÷
ç ÷
ç ÷
ç ÷
=
ç ÷
ç ÷
ç ÷
ç ÷
ç ÷
è ø
,
1
2
e
e
e
æ ö
=
ç ÷
ç ÷
è ø
,
那么多元线性回归数学模型可也写成矩阵形式:
Y X
b e
= +
其中
e
的分量是独立的。
2。参数
b
的最小二乘估计.为了估计参数
b
,我们采用最小二乘估计法。设
0 1 4
, ,...,b b b
分别是
参数
0 1 4
, ,...,
b b b
的最小二乘估计,则回归方程为
^
0 1 1 4 4
...y
b b x b x
= + + +
由最小二乘法知道,
0 1 4
, ,...,b b b
应使得全部观察值
y
a
与回归值
^
y
a
的偏差平方和 Q 达到最小,
即使
神经网络与回归方法分析(数学建模)
14
2
^
Q
y y
a
a a
=
æ ö
-
å
ç ÷
è ø
=最小
所以 Q 是
0 1 4
, ,...,b b b
的非负二次式,最小值一定存在。根据微积分中的极值原理,
0 1 4
, ,...,b b b
应是下列正规方程组的解:
^
0
^
2 0,
2 0,
j
j
Q
Q
y y
b
y y
x
b
a a
a
a
a a
a
d
d
d
d
æ ö
ç ÷
=- - =
ç ÷
è ø
æ ö
ç ÷
=- - =
ç ÷
è ø
å
ì
í
î
å
显然,正规方程组的系数矩阵是对称矩阵,用 A 来表示,则
'
A X X=
,则其右端常数项矩阵
B 亦可以用矩阵 X 和 Y 来表示:
'
B X Y=
,所以可以得到回归方程的回归系数:
( )
1
1 ' '
b A B X X X Y
-
-
= =
3.由于利用偏回归方程和
i
Q
可以衡量每个变量在回归中所起的作用大小(即影响程度),
设
h
S
是 p 个变量所引起的回归平方和,
1
h
S
是(p-1)个变量所引起的回归平方和(即除去
i
x
),
则偏回归平方和
i
Q
为
1
2
*
0
p
j j
h j
i
j
ii
i
j
h
b
Q
b
S S b
B B
c
=
= - = - =
å å
就是去掉变量
i
x
后,回归平方和所减少的量。
4.建立模型
453423121 xbxbxbxbby
i
���������
5.模型的求解
我们通过 MATLAB,求得其回归系数,并最终得到
i
x
与
i
y
的函数关系:
1 2 3 4
1
1 2 3 4
2
339.8499 16.8114 11.5489 67.5414 15.5485 ,
164.5580 0.1874 1.7976 29.9728 12.4426 ,
y
x x x x
y
x x x x
ì
= - + + -
ï
í
= - + - + +
ï
î
神经网络与回归方法分析(数学建模)
15
同时通过 MATLAB 可以得出
i
x
与
i
y
的误差结果如下:
由此,我们可得出结论,采用多元线性回归得出的函数关系对于
1
y
残差太大,效果很差,对
于
2
y
的拟合也并不是很完美.
4.1.2 非线性回归方法
1。数据标准化
我们选用的是非线性模型 LSE 的 Gauss-Newton 算法:
采用 Z-score 标准化法,即对序列
1 2
, ,...,
m
x x x
进行变换:
i
i
s
x x
y
-
-
=
, ( 1 其 中 ,
1
1
N
i
i
N
x x
-
=
=
å
,
2
1
1
1
N
i
s
i
N
x x
=
-
=
-
æ ö
-
å
ç ÷
è ø
,则构成新序列,均值为 0,方差为 1。
.
首先考虑单参数的非线性回归模型:
( )
,
i
i i
f
x
Y
b
e
= +
其残差平方和函数为
剩余31页未读,继续阅读
智慧安全方案
- 粉丝: 3715
- 资源: 59万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0