第30卷第3期2012年7月
沈阳师范大学学报(自然科学版)
Vol.30No.3Jul.2012
JournaloShenanNormalUniversitNaturalScience) f yg y(
()文章编号:16735862201203033805---
基于相对误差的曲线最小二乘拟合
李 颖,林洪生
()沈阳工程学院基础教学部,沈阳 110136
摘 要:分析了最小二乘法的研究历史与现状,给出了高斯最小二乘法的几种研究思路,但是这些研究方法都没有考虑到高斯最小二乘法本身的缺陷。将通过一个实际的算例来分析高斯最小二乘法的缺陷
基于绝对误差大体相同的前提之下,否则会产生很大的误差。在绝对误差
较小的数据的有可能产生较大的相对误差,这显然与实际情况不符。但通常相差不多的情况下,
情况下,观测数据往往按被观测量的相对误差进行评价,也就是说,被观测量越大,允许的实际观测量的误差也越大。从这个角度出发,将给出改进的最小二乘法。同时,从理论上证明其对应的与高斯最小二乘法作比较,得到较好的法方程组的解是存在且唯一。最后给出相应的仿真算例,结论。
关 键 词:曲线拟合;相对误差;绝对误差;最小二乘法中图分类号:O212 文献标志码:A:1/doi0.3969.issn.16735862.2012.03.006-j
0 引 言
1]
。高斯在考虑线性最小二乘思想由勒让德在求解方程个数少于未知量个数的线性方程组时创立[
]25-
。一些学者在最小二方程组均衡性的基础之上给出了最小二乘法的理论依据以及具体的推导过程[
]610-
。又有些学者在稳健性以及具体求解乘法的证明、推广以及应用上的改进等方面做了大量的工作[]1112-
。但是,这些研究都没有考虑高斯最小二乘法本身的缺陷,即研究的数据较方面做了大量的工作[
为均衡时结果较好;不均衡时,得到的结论往往是与实际不相符的。
最小二乘法是处理工程问题时常用的方法,广泛应用于科学技术各个领域,如在线性回归方程中确
13]
。处理问题时,,…,定回归系数[通常会面临如下的问题:假设给定的一组数据(要xi=1,2,N,yi,i)
寻求一个m(次多项式mN)
m
y=
使总误差
N
j=0
∑ax
jm
j
()1
Q=
i=1
j
xyi-ji)∑(∑a
j=0
2
()2
…,为最小。而Q可以看作是关于a的一个多元函数,所以上述多项式的系数的求解问题1,m)j=0,j(
…,可以归结为以a为自变量的多元函数的极值问题,可以按照多元函数极值问题来进行1,m)j=0,j(求解。令
…,k=0,1,m=0,
ak
可得
。收稿日期:20120515--
)。基金项目:辽宁省科技厅博士启动基金资助项目(201102160,作者简介:李 颖(女,辽宁鞍山人,沈阳工程学院教授。1962-)
()3
第3期 李 颖,等:基于相对误差的曲线最小二乘拟合
N
i
m
j
ji
ki
339
i=1
ax)xy-∑∑(
j=0
…,k=0,1,m=0,()4
)。进而,能够得到正则方程组,如式(5
mxx0N+a1i+…+ami∑∑=
i=1
i=1
N
N
2
i
NNN
i=1
∑y
i
N
N
m+1i
xx+…+ax=∑xy0i+a1mii
∑∑∑i=1i=1i=1i=1
…………………………………………………………
N
mi
N
m+1i
N
N
2m i
()5
x+ax01
∑∑ii11==+…+am
∑x
i=1
=
i=1
yii∑x
m
14]
。上述正则方程组的解恰为所求拟合多项式的系数。同时这组解是存在且唯一的[
但是高斯最小二乘法的评价依据是针对等精度数据而言的,即观测数据具有大体相同的绝对误
15]
。但大量的科学研究和观测数据往往按被观测量的相对误差进行评价,差[也就是说,被观测量越大,
允许的实际观测量的误差也越大。所以,从相对拟合误差的平方和最小出发,可以把高斯最小二乘法进行改进,得到更符合实际情况的新最小二乘法。
16]
。笔者给出一个测量的例子来阐明利用最小二乘法作曲线拟合时要考虑到相对误差的必要性[
在一次测量长度时,如图1所示,得到如下测量结果
。
这里
AB=15.5,BC=6.1,AC=20.9
显然是一组矛盾数据,也就是说,在测量时一定存在误差,现在来且分析一下其绝对误差和相对误差。假设xi为这组测量数据的拟合值,
图1 测量结果直观图
xB,xC,xC1≈A2≈B1+x2≈A
令e则有i为剩余误差,
e5.5 e.1 ex0.9-21=x1-12=x2-63=(1+x2)利用高斯最小二乘法,要依据剩余误差平方和最小的方法来求出最好的拟合值。即
3
Q=
2222
()()()ex5.5x.1x0.9=++1-12-61+x2-2i∑
()6
i=1
)式(的最小值解即为所求。可以解出x615.27,x5.87,xx21.14。1=2=1+2=
现在来看一下绝对误差和相对误差,如表1所示。
表1 观测值与拟合值误差表
观测值
拟合值绝对误差相对误差
15.5 15.27 -0.23-1.5
6.1
5.87 -0.23 -3.8
20.9
21.140.231.1
以上数据可以看出,在此例中,对于3个测量值来说,绝对误差相同,且拟合值是使式(取得最小6)值的解,即满足高斯最小二乘法的条件。从例子本身来说,线段B但是与AC的长度最短,B,AC的绝对误差相同。这显然不太符合实际的情况,因此,单单考虑绝对误差是不合理的。还可以从表中看出,其相对误差恰恰表明了这种不合理性。这就引导着研究人员考虑相对误差这一因素。
1 主要结果以及证明
通过前面的讨论可以看出,在利用最小二乘法做曲线拟合时,仅仅考虑让绝对误差的平方和最小是远远不够的,实际操作时还要考虑相对误差,才能使拟合后的多项式更加符合实际情况。基于这一情况,笔者将对高斯最小二乘法进行改进。首先,根据给出的数据假设拟合多项式如下
m
y=
j=0
∑ax
j
j
()7
340
沈阳师范大学学报(自然科学版)0卷 第3
)从容易计算的角度考虑,高斯最小二乘法遵循的法则是要求绝对误差的平方和最小,如式(所示。2)在这里将其加以改进,遵循使相对误差的平方和最小的法则,相对误差的平方和如式(的形式。8
m
N
Q=
yi…,要求这个函数取得最小值的解,是一个以a为自变量的多元函数的极值问题,可以利用1,m)j=0,j(
即多元函数求极值的方法来解决这一问题。首先令偏导数等于零,
i=1
∑
j
axyi-ji∑j=0
2
()8
…,k=0,1,m=0,
ak
可得
j
xiix…,k=0,1,m1a=0, -j
∑∑yiyii=10j=
),)进而,可以得到如下的正则方程组(正则方程组(的解即为所求的拟合多项式的系数。1010
N
(
m
k
()9
m
xxii…++a0m
∑i+a1i∑∑i=Nii=1yi=1y=1y2m+1
iii
…+a++a=01m
∑∑∑iiii=1yi=1yi=1yNNN
NNNN
i=1
∑x
N
i
()10
…………………………………………………………
mm+12m
xxxiii
…aa++m∑=0
∑i+1i∑iii=1y=1yi=1y
N
N
N
i=1
∑x
m
i
因为函数的驻点可能为最值点,也可能不为最值点。基于这一结论,要解决下面2个问题:一个问题是正则方程组是否存在唯一解,另外一个问题是如果正则方程组存在唯一解,那么这个唯一解是否为)取得最小值的解。进而,给出如下结论,使得式(8
)定理1 正则方程组(有唯一的一组解。10
))证明 采用反证法。若不然,正则方程组(的对应的齐次方程组(有非零解。1011
j
xi
,k=0,…,a1,mj2=0 ∑∑yi=1ij=0m
N
k+
()11
从而有
j
xi
0=∑a=kj2∑a∑i
k=0i=1yj=0
m
(
mNk+
)
j
xiakj2=∑∑∑ayi=1j=0k=0i
Nmmk+
i=1
∑(
N
j
xij
∑ayij=0
m
)(xi
a=k∑yik=0
mk
)
i=1
∑(
N
j2
xi
()12aj
∑yij=0
m
)
因而有
j
xi
…,ai=1,2,N=0,j
∑yij=0
)…,。当N>m时,即拟合多项式(有N零点x由代数学基本定理知7i=1,2,N)i(
m
j
ax≡0j∑m
()13
()14
j=0
…,)从而,矛盾。所以正则方程组(有唯一的一组解。a0,1,m,10j=0,j=
…,…,定理2 若a为正则方程组(的解,则a必为使得式(取得最1,m)10)1,m)8)j=0,j=0,j(j(小值的解。
…,证明 对于任意一组值b有1,m)j=0,j(
m
N
=0-∑=
i=1
yyiiNNmmmmjjj2j
xxxxiiiiaaba-∑1-∑+∑-∑jjjj
∑1-j∑yyyyiiiii=1i=1=0j=0j=0j=0
=0
i=1
m
N
∑
yi-∑bxj2
ji
jaxyi-ji∑2
()xx
2∑1-∑aba-=(∑(yy)
N
m
j
ii
m
j
k
k
kii
i=1
j=0
k=0
()≥
2
第3期 李 颖,等:基于相对误差的曲线最小二乘拟合
m
341
j
xiix2∑(ab1-∑ak-k)j
∑iyiyk=0i=1j=0
))式(中方括号中的式子恰为正则方程组(的左侧,显然值为零。进而有1510
[(
≤
Nm
]
k
()15
m
N
yyii…,)所以,为使得式(取得最小值的解。a1,m)8j=0,j(
通过以上的2个定理,解决了解的存在且唯一的的问题。进一步说明,考虑相对误差处理问题从理
i=1
i=1
∑
yi-∑axj=0
j2
ji
m
N
∑
jxyi-ji∑b
j=0
2
()16
论上也是合理的。
2 仿真算例
现在看一个实际的例子,来对比一下高斯最小二乘法和改进后的最小二乘法。数据如表2,给出的这些点的坐标显然大体分布在一条直线上,进而可以利用直线拟合。
表2 观测数据表
xi
iy165
187 123
126 150
172 123
125 141
148
,首先看一下高斯最小二乘拟合。设所求的拟合直线为y=a+b则对应的正则方程组的具体形x式为
{
解得
5a+702b=758
a+99864b=108395702
()17
a=-60.9392,b=1.5138
)。现在来看一下绝对误差和相对误差(如表3
表3 高斯最小二乘法拟合数据误差表
()18
xi
iy
绝对误差相对误差/%165 187 1.8378 0.98 123
126 2.2582 1.79 150
172 5.8692 3.41 123
125 2.2582 1.81 141
1484.5066 3.05
,接下来,看一下改进后的最小二乘法。仍然利用直线来拟合,且所求拟合直线为y=a则对应+bx的正则方程组为
{
解得
0.033855a+4.667339b=5 4.667339a+651.836698b02=7
()19
a=-60.9011,b=1.5130
)。现在来看一下绝对误差和相对误差(如表4
表4 改进的最小二乘法拟合数据误差表
()20
xi
iy
绝对误差相对误差/%165
187 1.7439 0.93 123
126 0.8021 0.64 150
172 5.9511 3.46 123
125 0.1979 0.16 141
1484.4319 2.99
通过2种方法的误差分析的比较可以看出,改进的最小二乘法的结果显然比高斯最小二乘法好的多。体现在误差(绝对误差和相对误差)比高斯最小二乘法的小上。进而更加贴近实际情况,能得到更好的应用。
342
沈阳师范大学学报(自然科学版)0卷 第3
3 结 论
从实际情况出发,将高斯最小二乘法加以改进,得出较好的结论。即首先将满足绝对误差的平方和最小改为相对误差的平方和最小的条件。同时,从理论上证明所对应的正则方程组的解是存在且唯一的,以及这组解恰为使得相对误差的平方和最小的一组解。算例也说明了这种改进的合理性。参考文献:
[():1]PLACKETT R L.The Discoverothe methodoLeastSuares[J].Biometrika,1972,592239-251. yff q [:or 2]SHEYN N O B.GAUSS C F andthetheoroError[J].ArchiveHistoroExactSciences,1979,20(1) fyf yf
21-72.
[3]WATERHOUSE W C.Gausssarumentleastsuares[J].ArchiveHistoroExactScience,1991,irstoror gqyf fff
():41141-52.
[():陈希儒.最小二乘法的历史回顾与现状[4]J].中国科学院研究生院学报,1998,1515-11.
[():贾小勇,徐传胜,白 欣.最小二乘法的创立及其思想方法[自然科学版,5]J].西北大学学报:2006,363507-511.[():代恩华,齐玉霞.最小二乘法求最值问题的一种简单证明[自然科学版,6]J].聊城大学学报:2010,233100-101.[():董 勇,李梦霞.复数域内最小二乘法估计公式的证明[自然科学版,7]J].长江大学学报:2007,42129-130.[():李梦霞,陈 忠.复数域内最小二乘法的一种改进[自然科学版,8]J].长江大学学报:2008,537-8.[():李念伟.带插值条件的最小二乘法[9]J].数学的实践与认识,2009,391488-93.
[]():管 倩,乔冠峰.基于改进遗传算法的最小二乘法的应用[10J].机械管理开发,20115207-208.
[]():杨曙光.超定方程组残量极小化的定向扰动最小二乘法[自然科学版,11J].武汉大学学报:1990317-25.[]():刘庆上,赵捍东,王 芳.用优化方法求解最小二乘法问题[12J].导弹与制导学报,2004,24383-85.
[]:刘连福.一元线性回归方程中回归系数的几种确定方法[自然科学版,13J].沈阳师范大学学报:2008,26(4)
406-408.
[]王能超.数值分析简明教程[高等教育出版社,14M].北京:2001:60-63.
[]():李成思.基于相对误差意义下的最小二乘法[15J].数理统计与管理,2003,22436-40.[]清华大学编写组.计算方法[科学出版社,16M].北京:1974:51-56.
Relativeerrorbasedcurvefittinforleastsuaremethod gq
LIYinLIN Honshen g,g-g
(,,)DeartmentofPrearatorCourseShenanInstituteofEnineerinShenan110136,China ppyygggyg
:T,Abstractaerivenhisanalsesleastsuaremethodintheresearchhistorandcurrentsituationithasseveral ppgyqy
,bresearchideasfortheGaussleastsuaresmethodutthesemethodsdonotconsiderdefectsofGaussleastsuare qqaracticalexamleanalsisofGaussleastsuaremethodofdefect-basedontheabsoluteerrorwithmethod.Throuh ppyqg
,,remisereatsameotherwiseitwillresultinerrors.Intheabsoluteerrorofthesamecasessmallerdataislikelto pgy ,w,roducealarerrelativeerrorhichisobviouslinconsistentwiththeactualsituation.Butinnormalcircumstances pgy
,,ofteninaccordancewithobservedvariableofrelativeerrortoevaluateobservationdatathatistosatheobservational y
;,wdataislarerallowtheactualmeasurementerrorislarer.Fromthisersectiveewillsuestanimrovedleast ggppggp,wsuaremethod.Atthesametimeerovedtheoreticallthemethodtothesolutionoftheeuationsisexistentand qyqp ,t,a,iivenetsuniue.FinallheemulatedexamleisndGaussleastsuaremethodforcomarisontabetter ggqypqpconclusion.
:c;;;Kewordsurvefittinrelativeerrorabsoluteerrorleastsuaremethod gqy
第30卷第3期2012年7月
沈阳师范大学学报(自然科学版)
Vol.30No.3Jul.2012
JournaloShenanNormalUniversitNaturalScience) f yg y(
()文章编号:16735862201203033805---
基于相对误差的曲线最小二乘拟合
李 颖,林洪生
()沈阳工程学院基础教学部,沈阳 110136
摘 要:分析了最小二乘法的研究历史与现状,给出了高斯最小二乘法的几种研究思路,但是这些研究方法都没有考虑到高斯最小二乘法本身的缺陷。将通过一个实际的算例来分析高斯最小二乘法的缺陷
基于绝对误差大体相同的前提之下,否则会产生很大的误差。在绝对误差
较小的数据的有可能产生较大的相对误差,这显然与实际情况不符。但通常相差不多的情况下,
情况下,观测数据往往按被观测量的相对误差进行评价,也就是说,被观测量越大,允许的实际观测量的误差也越大。从这个角度出发,将给出改进的最小二乘法。同时,从理论上证明其对应的与高斯最小二乘法作比较,得到较好的法方程组的解是存在且唯一。最后给出相应的仿真算例,结论。
关 键 词:曲线拟合;相对误差;绝对误差;最小二乘法中图分类号:O212 文献标志码:A:1/doi0.3969.issn.16735862.2012.03.006-j
0 引 言
1]
。高斯在考虑线性最小二乘思想由勒让德在求解方程个数少于未知量个数的线性方程组时创立[
]25-
。一些学者在最小二方程组均衡性的基础之上给出了最小二乘法的理论依据以及具体的推导过程[
]610-
。又有些学者在稳健性以及具体求解乘法的证明、推广以及应用上的改进等方面做了大量的工作[]1112-
。但是,这些研究都没有考虑高斯最小二乘法本身的缺陷,即研究的数据较方面做了大量的工作[
为均衡时结果较好;不均衡时,得到的结论往往是与实际不相符的。
最小二乘法是处理工程问题时常用的方法,广泛应用于科学技术各个领域,如在线性回归方程中确
13]
。处理问题时,,…,定回归系数[通常会面临如下的问题:假设给定的一组数据(要xi=1,2,N,yi,i)
寻求一个m(次多项式mN)
m
y=
使总误差
N
j=0
∑ax
jm
j
()1
Q=
i=1
j
xyi-ji)∑(∑a
j=0
2
()2
…,为最小。而Q可以看作是关于a的一个多元函数,所以上述多项式的系数的求解问题1,m)j=0,j(
…,可以归结为以a为自变量的多元函数的极值问题,可以按照多元函数极值问题来进行1,m)j=0,j(求解。令
…,k=0,1,m=0,
ak
可得
。收稿日期:20120515--
)。基金项目:辽宁省科技厅博士启动基金资助项目(201102160,作者简介:李 颖(女,辽宁鞍山人,沈阳工程学院教授。1962-)
()3
第3期 李 颖,等:基于相对误差的曲线最小二乘拟合
N
i
m
j
ji
ki
339
i=1
ax)xy-∑∑(
j=0
…,k=0,1,m=0,()4
)。进而,能够得到正则方程组,如式(5
mxx0N+a1i+…+ami∑∑=
i=1
i=1
N
N
2
i
NNN
i=1
∑y
i
N
N
m+1i
xx+…+ax=∑xy0i+a1mii
∑∑∑i=1i=1i=1i=1
…………………………………………………………
N
mi
N
m+1i
N
N
2m i
()5
x+ax01
∑∑ii11==+…+am
∑x
i=1
=
i=1
yii∑x
m
14]
。上述正则方程组的解恰为所求拟合多项式的系数。同时这组解是存在且唯一的[
但是高斯最小二乘法的评价依据是针对等精度数据而言的,即观测数据具有大体相同的绝对误
15]
。但大量的科学研究和观测数据往往按被观测量的相对误差进行评价,差[也就是说,被观测量越大,
允许的实际观测量的误差也越大。所以,从相对拟合误差的平方和最小出发,可以把高斯最小二乘法进行改进,得到更符合实际情况的新最小二乘法。
16]
。笔者给出一个测量的例子来阐明利用最小二乘法作曲线拟合时要考虑到相对误差的必要性[
在一次测量长度时,如图1所示,得到如下测量结果
。
这里
AB=15.5,BC=6.1,AC=20.9
显然是一组矛盾数据,也就是说,在测量时一定存在误差,现在来且分析一下其绝对误差和相对误差。假设xi为这组测量数据的拟合值,
图1 测量结果直观图
xB,xC,xC1≈A2≈B1+x2≈A
令e则有i为剩余误差,
e5.5 e.1 ex0.9-21=x1-12=x2-63=(1+x2)利用高斯最小二乘法,要依据剩余误差平方和最小的方法来求出最好的拟合值。即
3
Q=
2222
()()()ex5.5x.1x0.9=++1-12-61+x2-2i∑
()6
i=1
)式(的最小值解即为所求。可以解出x615.27,x5.87,xx21.14。1=2=1+2=
现在来看一下绝对误差和相对误差,如表1所示。
表1 观测值与拟合值误差表
观测值
拟合值绝对误差相对误差
15.5 15.27 -0.23-1.5
6.1
5.87 -0.23 -3.8
20.9
21.140.231.1
以上数据可以看出,在此例中,对于3个测量值来说,绝对误差相同,且拟合值是使式(取得最小6)值的解,即满足高斯最小二乘法的条件。从例子本身来说,线段B但是与AC的长度最短,B,AC的绝对误差相同。这显然不太符合实际的情况,因此,单单考虑绝对误差是不合理的。还可以从表中看出,其相对误差恰恰表明了这种不合理性。这就引导着研究人员考虑相对误差这一因素。
1 主要结果以及证明
通过前面的讨论可以看出,在利用最小二乘法做曲线拟合时,仅仅考虑让绝对误差的平方和最小是远远不够的,实际操作时还要考虑相对误差,才能使拟合后的多项式更加符合实际情况。基于这一情况,笔者将对高斯最小二乘法进行改进。首先,根据给出的数据假设拟合多项式如下
m
y=
j=0
∑ax
j
j
()7
340
沈阳师范大学学报(自然科学版)0卷 第3
)从容易计算的角度考虑,高斯最小二乘法遵循的法则是要求绝对误差的平方和最小,如式(所示。2)在这里将其加以改进,遵循使相对误差的平方和最小的法则,相对误差的平方和如式(的形式。8
m
N
Q=
yi…,要求这个函数取得最小值的解,是一个以a为自变量的多元函数的极值问题,可以利用1,m)j=0,j(
即多元函数求极值的方法来解决这一问题。首先令偏导数等于零,
i=1
∑
j
axyi-ji∑j=0
2
()8
…,k=0,1,m=0,
ak
可得
j
xiix…,k=0,1,m1a=0, -j
∑∑yiyii=10j=
),)进而,可以得到如下的正则方程组(正则方程组(的解即为所求的拟合多项式的系数。1010
N
(
m
k
()9
m
xxii…++a0m
∑i+a1i∑∑i=Nii=1yi=1y=1y2m+1
iii
…+a++a=01m
∑∑∑iiii=1yi=1yi=1yNNN
NNNN
i=1
∑x
N
i
()10
…………………………………………………………
mm+12m
xxxiii
…aa++m∑=0
∑i+1i∑iii=1y=1yi=1y
N
N
N
i=1
∑x
m
i
因为函数的驻点可能为最值点,也可能不为最值点。基于这一结论,要解决下面2个问题:一个问题是正则方程组是否存在唯一解,另外一个问题是如果正则方程组存在唯一解,那么这个唯一解是否为)取得最小值的解。进而,给出如下结论,使得式(8
)定理1 正则方程组(有唯一的一组解。10
))证明 采用反证法。若不然,正则方程组(的对应的齐次方程组(有非零解。1011
j
xi
,k=0,…,a1,mj2=0 ∑∑yi=1ij=0m
N
k+
()11
从而有
j
xi
0=∑a=kj2∑a∑i
k=0i=1yj=0
m
(
mNk+
)
j
xiakj2=∑∑∑ayi=1j=0k=0i
Nmmk+
i=1
∑(
N
j
xij
∑ayij=0
m
)(xi
a=k∑yik=0
mk
)
i=1
∑(
N
j2
xi
()12aj
∑yij=0
m
)
因而有
j
xi
…,ai=1,2,N=0,j
∑yij=0
)…,。当N>m时,即拟合多项式(有N零点x由代数学基本定理知7i=1,2,N)i(
m
j
ax≡0j∑m
()13
()14
j=0
…,)从而,矛盾。所以正则方程组(有唯一的一组解。a0,1,m,10j=0,j=
…,…,定理2 若a为正则方程组(的解,则a必为使得式(取得最1,m)10)1,m)8)j=0,j=0,j(j(小值的解。
…,证明 对于任意一组值b有1,m)j=0,j(
m
N
=0-∑=
i=1
yyiiNNmmmmjjj2j
xxxxiiiiaaba-∑1-∑+∑-∑jjjj
∑1-j∑yyyyiiiii=1i=1=0j=0j=0j=0
=0
i=1
m
N
∑
yi-∑bxj2
ji
jaxyi-ji∑2
()xx
2∑1-∑aba-=(∑(yy)
N
m
j
ii
m
j
k
k
kii
i=1
j=0
k=0
()≥
2
第3期 李 颖,等:基于相对误差的曲线最小二乘拟合
m
341
j
xiix2∑(ab1-∑ak-k)j
∑iyiyk=0i=1j=0
))式(中方括号中的式子恰为正则方程组(的左侧,显然值为零。进而有1510
[(
≤
Nm
]
k
()15
m
N
yyii…,)所以,为使得式(取得最小值的解。a1,m)8j=0,j(
通过以上的2个定理,解决了解的存在且唯一的的问题。进一步说明,考虑相对误差处理问题从理
i=1
i=1
∑
yi-∑axj=0
j2
ji
m
N
∑
jxyi-ji∑b
j=0
2
()16
论上也是合理的。
2 仿真算例
现在看一个实际的例子,来对比一下高斯最小二乘法和改进后的最小二乘法。数据如表2,给出的这些点的坐标显然大体分布在一条直线上,进而可以利用直线拟合。
表2 观测数据表
xi
iy165
187 123
126 150
172 123
125 141
148
,首先看一下高斯最小二乘拟合。设所求的拟合直线为y=a+b则对应的正则方程组的具体形x式为
{
解得
5a+702b=758
a+99864b=108395702
()17
a=-60.9392,b=1.5138
)。现在来看一下绝对误差和相对误差(如表3
表3 高斯最小二乘法拟合数据误差表
()18
xi
iy
绝对误差相对误差/%165 187 1.8378 0.98 123
126 2.2582 1.79 150
172 5.8692 3.41 123
125 2.2582 1.81 141
1484.5066 3.05
,接下来,看一下改进后的最小二乘法。仍然利用直线来拟合,且所求拟合直线为y=a则对应+bx的正则方程组为
{
解得
0.033855a+4.667339b=5 4.667339a+651.836698b02=7
()19
a=-60.9011,b=1.5130
)。现在来看一下绝对误差和相对误差(如表4
表4 改进的最小二乘法拟合数据误差表
()20
xi
iy
绝对误差相对误差/%165
187 1.7439 0.93 123
126 0.8021 0.64 150
172 5.9511 3.46 123
125 0.1979 0.16 141
1484.4319 2.99
通过2种方法的误差分析的比较可以看出,改进的最小二乘法的结果显然比高斯最小二乘法好的多。体现在误差(绝对误差和相对误差)比高斯最小二乘法的小上。进而更加贴近实际情况,能得到更好的应用。
342
沈阳师范大学学报(自然科学版)0卷 第3
3 结 论
从实际情况出发,将高斯最小二乘法加以改进,得出较好的结论。即首先将满足绝对误差的平方和最小改为相对误差的平方和最小的条件。同时,从理论上证明所对应的正则方程组的解是存在且唯一的,以及这组解恰为使得相对误差的平方和最小的一组解。算例也说明了这种改进的合理性。参考文献:
[():1]PLACKETT R L.The Discoverothe methodoLeastSuares[J].Biometrika,1972,592239-251. yff q [:or 2]SHEYN N O B.GAUSS C F andthetheoroError[J].ArchiveHistoroExactSciences,1979,20(1) fyf yf
21-72.
[3]WATERHOUSE W C.Gausssarumentleastsuares[J].ArchiveHistoroExactScience,1991,irstoror gqyf fff
():41141-52.
[():陈希儒.最小二乘法的历史回顾与现状[4]J].中国科学院研究生院学报,1998,1515-11.
[():贾小勇,徐传胜,白 欣.最小二乘法的创立及其思想方法[自然科学版,5]J].西北大学学报:2006,363507-511.[():代恩华,齐玉霞.最小二乘法求最值问题的一种简单证明[自然科学版,6]J].聊城大学学报:2010,233100-101.[():董 勇,李梦霞.复数域内最小二乘法估计公式的证明[自然科学版,7]J].长江大学学报:2007,42129-130.[():李梦霞,陈 忠.复数域内最小二乘法的一种改进[自然科学版,8]J].长江大学学报:2008,537-8.[():李念伟.带插值条件的最小二乘法[9]J].数学的实践与认识,2009,391488-93.
[]():管 倩,乔冠峰.基于改进遗传算法的最小二乘法的应用[10J].机械管理开发,20115207-208.
[]():杨曙光.超定方程组残量极小化的定向扰动最小二乘法[自然科学版,11J].武汉大学学报:1990317-25.[]():刘庆上,赵捍东,王 芳.用优化方法求解最小二乘法问题[12J].导弹与制导学报,2004,24383-85.
[]:刘连福.一元线性回归方程中回归系数的几种确定方法[自然科学版,13J].沈阳师范大学学报:2008,26(4)
406-408.
[]王能超.数值分析简明教程[高等教育出版社,14M].北京:2001:60-63.
[]():李成思.基于相对误差意义下的最小二乘法[15J].数理统计与管理,2003,22436-40.[]清华大学编写组.计算方法[科学出版社,16M].北京:1974:51-56.
Relativeerrorbasedcurvefittinforleastsuaremethod gq
LIYinLIN Honshen g,g-g
(,,)DeartmentofPrearatorCourseShenanInstituteofEnineerinShenan110136,China ppyygggyg
:T,Abstractaerivenhisanalsesleastsuaremethodintheresearchhistorandcurrentsituationithasseveral ppgyqy
,bresearchideasfortheGaussleastsuaresmethodutthesemethodsdonotconsiderdefectsofGaussleastsuare qqaracticalexamleanalsisofGaussleastsuaremethodofdefect-basedontheabsoluteerrorwithmethod.Throuh ppyqg
,,remisereatsameotherwiseitwillresultinerrors.Intheabsoluteerrorofthesamecasessmallerdataislikelto pgy ,w,roducealarerrelativeerrorhichisobviouslinconsistentwiththeactualsituation.Butinnormalcircumstances pgy
,,ofteninaccordancewithobservedvariableofrelativeerrortoevaluateobservationdatathatistosatheobservational y
;,wdataislarerallowtheactualmeasurementerrorislarer.Fromthisersectiveewillsuestanimrovedleast ggppggp,wsuaremethod.Atthesametimeerovedtheoreticallthemethodtothesolutionoftheeuationsisexistentand qyqp ,t,a,iivenetsuniue.FinallheemulatedexamleisndGaussleastsuaremethodforcomarisontabetter ggqypqpconclusion.
:c;;;Kewordsurvefittinrelativeerrorabsoluteerrorleastsuaremethod gqy