点到直线距离与垂线距离的平方和最小法在直线回归中的研究1
需积分: 0 112 浏览量
2022-08-04
14:56:56
上传
评论
收藏 184KB PDF 举报
点到直线距离与垂线距离的平方和最小法在直线回归中
的研究
1
垂线距离最小二乘法原理
最小二乘法（又称最小平方法）是一种数学优化技术，于
19
世纪初由勒让德和高
斯 分别独立提出
.
现以一元线性回归为例
.
设有一组试验数据
!
"
#
$
%
"
$
!
&
#
$
%
&
$ ' ' ' $
!
(
#
$
%
(
，欲寻
求线性函数(理论分析证明二者存在线性相关性) ：% ) *! + ,. 式中
*
#
$
,
均为待常数
.
现
行的最小二乘法理论认为，只要RSS(residual sum of squares)最小，则*$ ,即为最佳拟合.
简化为
- ) .%
/
0 *!
/
0 ,1
&
（1）
最小。
对式（1）求偏导并另偏导为0，则
2-
2!
) 03 %
/
0 *!
/
0 , !
/
) 4
2-
2"
) 03 %
/
0 *!
/
0 , ) 4
!
! 即!
* !
/
&
+ , !
/
) !
/
%
/
* !
/
+ 5, ) %
/
!
! 该一元二次方程解得* ) 6
78
96
77
"#$% 0 *!%!
式中6
78
) !
/
0 ! %
/
0 % ) !
/
%
/
0
"
(
!
/
%
/
! "6
77
) !
/
0 !
&
)
!
/
&
0
"
(
: !
/
;
&
%!
2.#
点到直线最小二乘法原理
#
! 由点到直线距离公式<
/
) %
/
0 *!
/
0 , 9 = + *
&
"转化为对 &$ <
/
&
求最小%!
则!
2-
2*
) 03 !
/
%
/
0 *!
/
0 , 9:= + *
&
; 0 3*:*!
/
0 %
/
+ ,;
&
9:= + *
&
;
&
# ) 4#####:3;#
2-
2,
) 03
%
/
0 *!
/
0 ,
= + *
&
) 4################ ################################ ################################ ############:>;
!
由 ' 式可计算得!
!!! ! ! * !
/
+ 5, ) %
/
"! ! #$% 0 *!%!!!!!!! ! ! ! ! ! #:?;!
平均点(!! "#%)! 落在拟合曲线上%! !
把 * 式代入 + 式，最后得!
评论0