第十九章 神经网络模型
§1 神经网络简介
人工神经网络是在现代神经科学的基础上提出和发展起来的,旨在反映人脑结构及
1943年美国心理学家W. McCulloch和数学家W. Pitts提出形式神经元的抽象数学模型—MP模型以来,人工神经网络理论技术经过了50多年曲折的发展。特别是20世纪80年代,人工神经网络的研究取得了重大进展,有关的理论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。它在模式识别,图像处理,智能控制,组合优化,金融预测与管理,通信,机器人以及专家系统等领域得到广泛的应用,提出了40多种神经网络模型,其中比较著名的有感知机,Hopfield网络,Boltzman里我们仅讨论最基本的网络模型及其学习算法。
1.1 人工神经元模型
下图表示出了作为人工神经网络(artificial neural network,以下简称NN)的基本单元的神经元模型,它有三个基本要素:
(i)一组连接(对应于生物神经元的突触)(ii。
(iii)围内(一般限制在,1)(−,。
以上作用可分别以数学式表达出来:
=1 v−θ y=)式中x1,x2,L,xp为输入信号,wk1,wk2,L,wkp为神经元k之权值,uk为线性组合结果,θk为阈值,ϕ(⋅)为激活函数,yk为神经元k的输出。
若把输入的维数增加一维,则可把阈值θk包括进去。例如
vk=p∑w
j=0kjxj,yk=ϕ()
−1(或+1),权值为kθkbk),如下图所示。
-230-
激活函数ϕ(⋅)可以有以下几种:
(i)阈值函数
0 (1) v即阶梯函数。这时相应的输出yk为 ϕ( yk=⎨
其中vk=⎧1,vk≥0 ⎩0,vk
j=1pkjxj−θk
(ii)分段线性函数
v≥1⎧1,⎪⎪1 ϕ(v)=⎨(1+v),−1
⎪2
v≤−1⎪⎩0,
(iii)sigmoid函数
最常用的函数形式为
ϕ(v)=1 (3) 1+exp(−αv)
参数α>0可控制其斜率。另一种常用的是双曲正切函数
ϕ(v)=tanh⎜⎟=⎛v⎞
⎝2⎠1−exp(−v) (4) 1+exp(−v)
Matlab中的激活(传递)函数如下表所示:
函数名 功 能
purelin 线性传递函数
-231-
激活函数
各个函数的定义及使用方法,可以参看Matlab的帮助(如在Matlab命令窗口运行help tansig,可以看到tantig的使用方法,及tansig的定义为ϕ(v)=2−1)。 −2v1+e
1.2 网络结构及工作方式
除单元特性外,网络的拓扑结构也是NN的一个重要特性。从连接方式看NN主要有两种。
(i各神经元接受前一层的输入,并输出给下一层,没有反馈。结点分为两类,即输入单元和计算单元,每一计算单元可有任意个输入,但只有一个输出(它可耦合到任意多个其它结点作为其输入)。通常前馈网络可分为不同的层,第i层的输入只与第i−1层输出相连,输入和输出结点与外界相连,而其它中间层则称为隐层。
(ii
所有结点都是计算单元,同时也可接受输入,并向外界输出。
NN用,
§2 蠓虫分类问题与多层前馈网络
2.1 蠓虫分类问题
蠓虫分类问题可概括叙述如下:生物学家试图对两种蠓虫(Af与Apf)进行鉴别,依据的资料是触角和翅膀的长度,已经测得了9支Af和6支Apf的数据如下:
Af: (1.24,1.27),(1.36,1.74),(1.38,1.64),(1.38,1.82),(1.38,1.90),(1.40,1.70),
(1.48,1.82),(1.54,1.82),(1.56,2.08).
Apf: (1.14,1.82),(1.18,1.96),(1.20,1.86),(1.26,2.00),(1.28,2.00),(1.30,1.96). 现在的问题是:
(i)根据如上资料,如何制定一种方法,正确地区分两类蠓虫。
(ii)对触角和翼长分别为(1.24,1.80),(1.28,1.84)与(1.40,2.04)的3个标本,用所得到的方法加以识别。
(iii)设Af是宝贵的传粉益虫,Apf是某疾病的载体,是否应该修改分类方法。 如上的问题是有代表性的,它的特点是要求依据已知资料(9支Af的数据和6支Apf的数据)制定一种分类方法,类别是已经给定的(Af或Apf)。今后,我们将9支
-232-
Af及6支Apf的数据集合称之为学习样本。
2.2 多层前馈网络 为
解决上述问题,考虑一个其结构如下图所示的人工神经网络,
输出层
处理层或者隐单元层这里取三个单元
输入层
激活函数由 v 1+exp(−)激活函数
来决定。图中最下面单元,即由我们的例子中,它只需包括两个单元,一个用以输入触角长度,一个用以输入翅膀长度。中间一层称为处理层或隐单元层,进行了讨论,了。最上面一层称为输出层,任何一个中间层单元接受所有输入单元传来的信号,并把处理后的结果传向每一个输出单元,供输出层再次加工,同层的神经元彼此不相联接,输入与输出单元之间也没有直接联接。这样,除了神经元的形式定义外,我们又给出了网络结构。称为两层的理由是,
为了叙述上的方便,s,,15个样品;当将第s个样品的原始数据输入网络时,相应的输出单元状态记为Oi(i=1,2),隐单元状态记为
sHs
j(j=1,2,3),输入单元取值记为Ik(k=1,2)。请注意,此处下标i,j,k依次对应于•sij到中间层的权记为jk。如果wij,jk均已给定,那么,对应于任何一组确定的输入(I1s,I2s),网络中所有单元的取值不难确定。事实上,对样品s而言,隐单元j的输入是
相应的输出状态是
=(=(s
jss=s(5) ∑12s (6)
由此,输出单元i所接收到的迭加信号是
-233-
=网络的最终输出是 ijj1w(jk1323 (7) ϕ=ϕsϕϕ( ij)) (8)k=这里,没有考虑阈值,正如前面已经说明的那样,这一点是无关紧要的。还应指出的是,对于任何一组确定的输入,输出是所有权{wij,jk}的函数。
如果我们能够选定一组适当的权值{wij,jk},使得对应于学习样本中任何一组Af样品的输入(I1,I2),输出(O1,O2)=(1,0),对应于Apf的输入数据,输出为(0,1),那么蠓虫分类问题实际上就解决了。因为,对于任何一个未知类别的样品,只要将其触
就可能判断其归属。当然,角及翅膀长度输入网络,视其输出模式靠近(1,0)亦或(0,1),
有可能出现介于中间无法判断的情况。现在的问题是,如何找到一组适当的权值,实现上面所设想的网络功能。
求出恰当的权值2.3 向后传播算法
如何求得一组恰当的权值,使网络具有特定的功能,在很长一段时间内,曾经是使研究工作者感到困难的一个问题,直到1985年,美国加州大学的),使问题有了重大进展,这一算法也是促成人工神经网络研究迅猛发展的一个原因。下面就来介绍这一算法。
如前所述,我们希望对应于学习样本中Af样品的输出是(1,0),对应于Apf的输出是(0,1),这样的输出称之为理想输出。实际上要精确地作到这一点是不可能的,只能希望实际输出尽可能地接近理想输出。为清楚起见,把对应于样品s的理想输出记为ssss{Tis},那么
E(W)=1(Tis−Ois)2 (9) ∑2i,s
由此,寻找一组恰当的权的问
,有 题,自然地归结为求适当W的值,使E(W)达到极小的问题。将式(8)代入(9)
321ss2 E(W)=∑[Ti−ϕ(∑wijϕ(∑jkIk))] (10) 2s,ij=1k=1
易知,对每一个变量wij或ij而言,这是一个连续可微的非线性函数,为了求得其极小点与极小值,最为方便的就是使用最速下降法。最速下降法是一种迭代算法,为求出E(W)的(局部)极小,它从一个任取的初始点W0出发,计算在W0点的负梯度方向—∇E(W0),这是函数在该点下降最快的方向;只要∇E(W0)≠0,就可沿该方向移动一小段距离,达到一个新的点W1=W0−η∇E(W0),η是一个参数,只要η足够小,定能保证E(W1)
对于隐单元到输出单元的权wij而言,最速下降法给出的每一步的修正量是
-234-
Δwij=−η
此处令
∂Ess(11) =η∑[Tis−Ois]ϕ'(his)Hsj=η∑δiHj ∂wijssδis=ϕ'(his)[Tis−Ois] (12) ∂Es=η∑[Tis−Ois]ϕ'(his)wijϕ'(hs
j)Ij ∂jks,i
s
is wijϕ'(hsη∑jsIks (13)j)Ik=
s对输入单元到隐单元的权jk Δjk=−η =η
此处 ∑δs,i
js=ϕ'(hs
j)∑wijδis
i
从(11)和(13)式可以看出,所有权的修正量都有如下形式,即
Δwpq=η∑δ
ssspqv (14)
指标p对应于两个单元中输出信号的一端,q对应于输入信号的一端,v或者代表H或者代表I。形式上看来,这一修正是“局部”的,可以看作是Hebb律的一种表现形式。还应注意,δi由实际输出与理想输出的差及hi决定,而j则需依赖δi算出,因此,这一算法才称为向后传播算法。稍加分析还可知道,利用由(11)~(13)式所给出的计算安排,较之不考虑δp的向后传播,直接计算所有含ϕ'的原表达式,极大地降低了计算工作量。这组关系式称作广义δ−法则,它们不难推广到一般的多层网络上去。 jk可以看出,这里所提供的学习机制是元与元之间权的不断调整,学习样本中任何一个样品所提供的信息,最终将包含在网络的每一个权之中。参数η的大小则反映了学习效率。 学习的过程就是不断调整权值的过程
为了更有效地应用BP算法,我们做出如下一些补充说明。
(i)在式(11)与(13)中,Δwij,Δjk表示为与所有样品s有关的求和计算。实际上,我们还可以每次仅考虑输入一个样品所造成的修正,然后,按照随机选取的顺序,将所有样品逐个输入,不断重复这一手续,直至收敛到一个满意的解为止。
(ii)在如上的算法中,利用实际输出与理想输出差的平方和作为度量{wij,jk}优劣的标准,这并不是唯一的度量方式,完全可以从其它的函数形式出发,例如从相对熵出发,导出相应的算法。
(iii)在如上的讨论中使用的是最速下降法,显然,这也不是唯一的选择,其它的非线性优化方法,诸如共轭梯度法,拟牛顿法等,都可用于计算。为了加速算法的收敛速度,还可以考虑各种不同的修正方式。
(iv)BP算法的出现,虽然对人工神经网络的发展起了重大推动作用,但是这一算法仍有很多问题.对于一个大的网络系统,BP算法的工作量仍然是十分可观的,这更为严重的是,此处所讨论的是非线性函数的优化,那sssssBP算法只能保证是局部极小点 模拟退火算法-235-
多个初值点出发丆多次计算
2.4 蠓虫分类问题的求解
下面利用上文所叙述的网络结构及方法,对蠓虫分类问题求解。编写Matlab程序如下: clear
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00
1.28,2.00;1.30,1.96];
p=[p1;p2]';
pr=minmax(p);
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)];
plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o')
net=newff(pr,[3,2],{'logsig','logsig'});
net.trainParam.show = 10;
net.trainParam.lr = 0.05;
net.trainParam.goal = 1e-10;
net.trainParam.epochs = 50000;
net = train(net,p,goal);
x=[1.24 1.80;1.28 1.84;1.40 2.04]';
y0=sim(net,p)
y=sim(net,x)
§3 处理蠓虫分类的另一种网络方法
3.1 几个有关概念
在介绍本节主要内容之前,首先说明几个不同的概念。在上一节中,我们把利用BP算法确定联接强度,即权值的过程称为“学习过程”,这种学习的特点是,对任何一个输入样品,其类别事先是已知的,理想输出也已事先规定,因而从它所产生的实际输出与理想输出的异同,我们清楚地知道网络判断正确与否,故此把这一类学习称为在教样品按其本身特点分类,所要划分的类别是事先未知的,因而,在学习过程中,对每一输入所产生的输出也就无所谓对错,对于这样的情况,显另一个有关概念是所谓有竞争的学习。在上节所讨论的蠓虫分类网络中,尽管我们所希望的理想输出是(1,0)或(0,1),但实际输出并不如此,一般而言,两个输出单元均同时不为0。与此不同,我们完全可以设想另外一种输出模式:对应任何一组输入,所有输出单元中,只允许有一个处于激发态,即取值为1,其它输出单元均被抑制,即取值为0。一种形象的说法是,对应任何一组输入,要求所有的输出单元彼此竞争,唯一的胜利者赢得一切,
3.2 最简单的无监督有竞争的学习
品自动划分类别,相似的样品归于同一类别,因而激发同一输出单元,这一分类方式,是网络自身通过学习,从输入数据的关系中得出的。
蠓虫分类问题对应有教师的网络学习过程,显然不能由如上的方法来解决。但在这种无监督有竞争的学习阐明之后,很容易从中导出一种适用于有监督情况的网络方法;此外,本节所介绍的网络,在数据压缩等多种领域,都有其重要应用。
-236-
输入单元数目与每一样品的测量值数目相等,输出单元数目适当选取。每一个输入单元与所有输出单元联接,第j个输入元到第i个输出元的权记为wij]取1的输出元记为i,称之为优胜者.对于任何一组输入s,规定优胜者是有最大净输入的输出元,即对输入I=(I1,L,In)而言,
=*∑wIij
jj≡Wi⋅I (15)
取最大值的单元,其中Wi是输出元i所有权系数组成的向量,也就是说
Wi*⋅I≥Wi⋅I, (∀i) (16)
如果权向量是按照∑w
j2ij=1的方式标准化的,(16)式等价于
|Wi*−I|≤|Wi−I|, (∀i) (17) 即优胜者是其标准化权向量最靠近输入向量的输出元。令Oi*=1,其余的输出
Oi=0。这样的输出规定了输入向量的类别,但为了使这种分类方式有意义,问题化为如何将学习样本中的所有样品,自然地划分为聚类,并对每一聚类找出适当的权向量。为此,采用如下的算法:随机取定一组不大的初始权向量,注意不使它们有任何对称性。然后,将已知样品按照随机顺序输入网络。对输入样品s,按上文所述确定优胜者i,对所有与i有关的权作如下修正
Δwi*j=η(Ij−wi*j) (18)
所有其它输出单元的权保持不变。注意到Oi*=1,Oi=0(i≠i),所有权的修正公式可统一表示为
Δwi*j=ηOi(Ij−wi*j)
这一形式也可视为Hebb律的一种表现。(18)式的几何意义是清楚的,每次修正将优i有更大的获胜可能。可以合理地预期,反复重复以上步骤,使得每个输出单元对应了输入向量的一个聚类,相应的权向量落在了该聚类样品的重心附近。当然,这只是一个极不严密的说明。 标准化了的数据
*s**s*=整个过程不难由计算机模拟实现。
为了更有效地使用如上算法,下面对实际计算时可能产生的问题,作一些简要说明。 首先,向量,因此,永远不会成为优胜者,相应的权也就永远不会得到修正,这样的单元称之可以有多种方法。一种办法是初始权从学习样本中抽样选取,这就保证了它们都落在正确范围内;另一种办法是修正上述的学习算法,使得每一步不仅调整优胜者的权,同时也以一个小得多的η值,修正所有其它的权。这样,对于总是失败的单元,其权逐渐地朝着平均输入方向运动,最终也会在某一次竞争中取胜。此外,还存在有多种处理死单元的方法,感兴趣的读者可从文献中找到更多的方法。
-237-
18)或(19)中反映学习效率的参数η取为一个固定常数,那么权向量永远不会真正在某一有限点集上稳定下来。因此,应当考虑在公式中引进随学习时间而变化的收敛因子。例如,取η=η(t)=η0t−a,0
3.3 LVQ方法
上述有竞争学习的一个最重要应用是数据压缩中的向量量子化方法(Vector Quantization)。它的基本想法是,把一个给定的输入向量集合I分成M个类别,然后用类别指标来代表所有属于该类的向量。向量分量通常取连续值,一旦一组适当的类别确定之后,代替传输或存储输入向量本身,可以只传输或存储它的类别指标。所有的类别由M个所谓“原型向量”来表示,我们可以利用一般的欧氏距离,对每一个输入向量找到最靠近的原型向量,作为它的类别。显然,这种分类方法可以通过有竞争的学习直接得到。一旦学习过程结束,所有权向量的集合,便构成了一个“电码本”。
一般而言,上述无监督有竞争的学习,实际提供了一种聚类分析方法,对如蠓虫分类这种有监督的问题并不适用。1989年,Kohonen对向量量子化方法加以修改,提出了一种适用于有监督情况的学习方法,称为学习向量量子化(Learning Vector Quantization),该方法可用于蠓虫分类问题。在有监督的情况下,学习样品的类别是事先已知的,与此相应,每个输出单元所对应的类别也事先作了规定,但是,代表同一类别的输出单元可以不止一个。
在LVQ中,对于任一输入向量,仍按无监督有竞争的方式选出优胜者i,但权的修正规则则依输入向量的类别与i所代表的是否一致而不同,确切地说,令 **s
Δwi*js⎧η(Ij−wi*j)⎪=⎨−η(Is⎪j−wi*j)⎩一致情况不一致情况
前一种情况,修正和无监督的学习一致,权朝向样品方向移动一小段距离;后一种则相反,权向离开样品方向移动,这样就减少了错误分类的机会。
对于上述的蠓虫分类问题,我们编写Matlab程序如下:
clear
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;
1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00
1.28,2.00;1.30,1.96];
p=[p1;p2]'
pr=minmax(p)
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)]
net = newlvq(pr,4,[0.6,0.4])
net = train(net,p,goal)
Y = sim(net,p)
x=[1.24 1.80;1.28 1.84;1.40 2.04]'
sim(net,x)
习 题 十 九
1. 利用BP算法及sigmoid函数,研究以下各函数的逼近问题
-238-
(i)f(x)=1,1≤x≤100 x
(ii)f(x)=sinx,0≤x≤π
2
对每一函数要完成如下工作:
① 获取两组数据,一组作为训练集,一组作为测试集;
② 利用训练集训练一个单隐层的网络;用测试集检验训练结果,改变隐层单元数,研究它对逼近效果的影响。
2. 给定待拟合的曲线形式为
f(x)=0.5+0.4sin(2πx)
在f(x)上等间隔取11个点的数据,在此数据的输出值上加均值为0,均方差σ=0.05的正态分布噪声作为给定训练数据,用多项式拟合此函数,分别取多项式的阶次为1,3和11阶,图示出拟合结果,并讨论多项式阶次对拟合结果的影响。
-239-
第十九章 神经网络模型
§1 神经网络简介
人工神经网络是在现代神经科学的基础上提出和发展起来的,旨在反映人脑结构及
1943年美国心理学家W. McCulloch和数学家W. Pitts提出形式神经元的抽象数学模型—MP模型以来,人工神经网络理论技术经过了50多年曲折的发展。特别是20世纪80年代,人工神经网络的研究取得了重大进展,有关的理论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。它在模式识别,图像处理,智能控制,组合优化,金融预测与管理,通信,机器人以及专家系统等领域得到广泛的应用,提出了40多种神经网络模型,其中比较著名的有感知机,Hopfield网络,Boltzman里我们仅讨论最基本的网络模型及其学习算法。
1.1 人工神经元模型
下图表示出了作为人工神经网络(artificial neural network,以下简称NN)的基本单元的神经元模型,它有三个基本要素:
(i)一组连接(对应于生物神经元的突触)(ii。
(iii)围内(一般限制在,1)(−,。
以上作用可分别以数学式表达出来:
=1 v−θ y=)式中x1,x2,L,xp为输入信号,wk1,wk2,L,wkp为神经元k之权值,uk为线性组合结果,θk为阈值,ϕ(⋅)为激活函数,yk为神经元k的输出。
若把输入的维数增加一维,则可把阈值θk包括进去。例如
vk=p∑w
j=0kjxj,yk=ϕ()
−1(或+1),权值为kθkbk),如下图所示。
-230-
激活函数ϕ(⋅)可以有以下几种:
(i)阈值函数
0 (1) v即阶梯函数。这时相应的输出yk为 ϕ( yk=⎨
其中vk=⎧1,vk≥0 ⎩0,vk
j=1pkjxj−θk
(ii)分段线性函数
v≥1⎧1,⎪⎪1 ϕ(v)=⎨(1+v),−1
⎪2
v≤−1⎪⎩0,
(iii)sigmoid函数
最常用的函数形式为
ϕ(v)=1 (3) 1+exp(−αv)
参数α>0可控制其斜率。另一种常用的是双曲正切函数
ϕ(v)=tanh⎜⎟=⎛v⎞
⎝2⎠1−exp(−v) (4) 1+exp(−v)
Matlab中的激活(传递)函数如下表所示:
函数名 功 能
purelin 线性传递函数
-231-
激活函数
各个函数的定义及使用方法,可以参看Matlab的帮助(如在Matlab命令窗口运行help tansig,可以看到tantig的使用方法,及tansig的定义为ϕ(v)=2−1)。 −2v1+e
1.2 网络结构及工作方式
除单元特性外,网络的拓扑结构也是NN的一个重要特性。从连接方式看NN主要有两种。
(i各神经元接受前一层的输入,并输出给下一层,没有反馈。结点分为两类,即输入单元和计算单元,每一计算单元可有任意个输入,但只有一个输出(它可耦合到任意多个其它结点作为其输入)。通常前馈网络可分为不同的层,第i层的输入只与第i−1层输出相连,输入和输出结点与外界相连,而其它中间层则称为隐层。
(ii
所有结点都是计算单元,同时也可接受输入,并向外界输出。
NN用,
§2 蠓虫分类问题与多层前馈网络
2.1 蠓虫分类问题
蠓虫分类问题可概括叙述如下:生物学家试图对两种蠓虫(Af与Apf)进行鉴别,依据的资料是触角和翅膀的长度,已经测得了9支Af和6支Apf的数据如下:
Af: (1.24,1.27),(1.36,1.74),(1.38,1.64),(1.38,1.82),(1.38,1.90),(1.40,1.70),
(1.48,1.82),(1.54,1.82),(1.56,2.08).
Apf: (1.14,1.82),(1.18,1.96),(1.20,1.86),(1.26,2.00),(1.28,2.00),(1.30,1.96). 现在的问题是:
(i)根据如上资料,如何制定一种方法,正确地区分两类蠓虫。
(ii)对触角和翼长分别为(1.24,1.80),(1.28,1.84)与(1.40,2.04)的3个标本,用所得到的方法加以识别。
(iii)设Af是宝贵的传粉益虫,Apf是某疾病的载体,是否应该修改分类方法。 如上的问题是有代表性的,它的特点是要求依据已知资料(9支Af的数据和6支Apf的数据)制定一种分类方法,类别是已经给定的(Af或Apf)。今后,我们将9支
-232-
Af及6支Apf的数据集合称之为学习样本。
2.2 多层前馈网络 为
解决上述问题,考虑一个其结构如下图所示的人工神经网络,
输出层
处理层或者隐单元层这里取三个单元
输入层
激活函数由 v 1+exp(−)激活函数
来决定。图中最下面单元,即由我们的例子中,它只需包括两个单元,一个用以输入触角长度,一个用以输入翅膀长度。中间一层称为处理层或隐单元层,进行了讨论,了。最上面一层称为输出层,任何一个中间层单元接受所有输入单元传来的信号,并把处理后的结果传向每一个输出单元,供输出层再次加工,同层的神经元彼此不相联接,输入与输出单元之间也没有直接联接。这样,除了神经元的形式定义外,我们又给出了网络结构。称为两层的理由是,
为了叙述上的方便,s,,15个样品;当将第s个样品的原始数据输入网络时,相应的输出单元状态记为Oi(i=1,2),隐单元状态记为
sHs
j(j=1,2,3),输入单元取值记为Ik(k=1,2)。请注意,此处下标i,j,k依次对应于•sij到中间层的权记为jk。如果wij,jk均已给定,那么,对应于任何一组确定的输入(I1s,I2s),网络中所有单元的取值不难确定。事实上,对样品s而言,隐单元j的输入是
相应的输出状态是
=(=(s
jss=s(5) ∑12s (6)
由此,输出单元i所接收到的迭加信号是
-233-
=网络的最终输出是 ijj1w(jk1323 (7) ϕ=ϕsϕϕ( ij)) (8)k=这里,没有考虑阈值,正如前面已经说明的那样,这一点是无关紧要的。还应指出的是,对于任何一组确定的输入,输出是所有权{wij,jk}的函数。
如果我们能够选定一组适当的权值{wij,jk},使得对应于学习样本中任何一组Af样品的输入(I1,I2),输出(O1,O2)=(1,0),对应于Apf的输入数据,输出为(0,1),那么蠓虫分类问题实际上就解决了。因为,对于任何一个未知类别的样品,只要将其触
就可能判断其归属。当然,角及翅膀长度输入网络,视其输出模式靠近(1,0)亦或(0,1),
有可能出现介于中间无法判断的情况。现在的问题是,如何找到一组适当的权值,实现上面所设想的网络功能。
求出恰当的权值2.3 向后传播算法
如何求得一组恰当的权值,使网络具有特定的功能,在很长一段时间内,曾经是使研究工作者感到困难的一个问题,直到1985年,美国加州大学的),使问题有了重大进展,这一算法也是促成人工神经网络研究迅猛发展的一个原因。下面就来介绍这一算法。
如前所述,我们希望对应于学习样本中Af样品的输出是(1,0),对应于Apf的输出是(0,1),这样的输出称之为理想输出。实际上要精确地作到这一点是不可能的,只能希望实际输出尽可能地接近理想输出。为清楚起见,把对应于样品s的理想输出记为ssss{Tis},那么
E(W)=1(Tis−Ois)2 (9) ∑2i,s
由此,寻找一组恰当的权的问
,有 题,自然地归结为求适当W的值,使E(W)达到极小的问题。将式(8)代入(9)
321ss2 E(W)=∑[Ti−ϕ(∑wijϕ(∑jkIk))] (10) 2s,ij=1k=1
易知,对每一个变量wij或ij而言,这是一个连续可微的非线性函数,为了求得其极小点与极小值,最为方便的就是使用最速下降法。最速下降法是一种迭代算法,为求出E(W)的(局部)极小,它从一个任取的初始点W0出发,计算在W0点的负梯度方向—∇E(W0),这是函数在该点下降最快的方向;只要∇E(W0)≠0,就可沿该方向移动一小段距离,达到一个新的点W1=W0−η∇E(W0),η是一个参数,只要η足够小,定能保证E(W1)
对于隐单元到输出单元的权wij而言,最速下降法给出的每一步的修正量是
-234-
Δwij=−η
此处令
∂Ess(11) =η∑[Tis−Ois]ϕ'(his)Hsj=η∑δiHj ∂wijssδis=ϕ'(his)[Tis−Ois] (12) ∂Es=η∑[Tis−Ois]ϕ'(his)wijϕ'(hs
j)Ij ∂jks,i
s
is wijϕ'(hsη∑jsIks (13)j)Ik=
s对输入单元到隐单元的权jk Δjk=−η =η
此处 ∑δs,i
js=ϕ'(hs
j)∑wijδis
i
从(11)和(13)式可以看出,所有权的修正量都有如下形式,即
Δwpq=η∑δ
ssspqv (14)
指标p对应于两个单元中输出信号的一端,q对应于输入信号的一端,v或者代表H或者代表I。形式上看来,这一修正是“局部”的,可以看作是Hebb律的一种表现形式。还应注意,δi由实际输出与理想输出的差及hi决定,而j则需依赖δi算出,因此,这一算法才称为向后传播算法。稍加分析还可知道,利用由(11)~(13)式所给出的计算安排,较之不考虑δp的向后传播,直接计算所有含ϕ'的原表达式,极大地降低了计算工作量。这组关系式称作广义δ−法则,它们不难推广到一般的多层网络上去。 jk可以看出,这里所提供的学习机制是元与元之间权的不断调整,学习样本中任何一个样品所提供的信息,最终将包含在网络的每一个权之中。参数η的大小则反映了学习效率。 学习的过程就是不断调整权值的过程
为了更有效地应用BP算法,我们做出如下一些补充说明。
(i)在式(11)与(13)中,Δwij,Δjk表示为与所有样品s有关的求和计算。实际上,我们还可以每次仅考虑输入一个样品所造成的修正,然后,按照随机选取的顺序,将所有样品逐个输入,不断重复这一手续,直至收敛到一个满意的解为止。
(ii)在如上的算法中,利用实际输出与理想输出差的平方和作为度量{wij,jk}优劣的标准,这并不是唯一的度量方式,完全可以从其它的函数形式出发,例如从相对熵出发,导出相应的算法。
(iii)在如上的讨论中使用的是最速下降法,显然,这也不是唯一的选择,其它的非线性优化方法,诸如共轭梯度法,拟牛顿法等,都可用于计算。为了加速算法的收敛速度,还可以考虑各种不同的修正方式。
(iv)BP算法的出现,虽然对人工神经网络的发展起了重大推动作用,但是这一算法仍有很多问题.对于一个大的网络系统,BP算法的工作量仍然是十分可观的,这更为严重的是,此处所讨论的是非线性函数的优化,那sssssBP算法只能保证是局部极小点 模拟退火算法-235-
多个初值点出发丆多次计算
2.4 蠓虫分类问题的求解
下面利用上文所叙述的网络结构及方法,对蠓虫分类问题求解。编写Matlab程序如下: clear
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00
1.28,2.00;1.30,1.96];
p=[p1;p2]';
pr=minmax(p);
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)];
plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o')
net=newff(pr,[3,2],{'logsig','logsig'});
net.trainParam.show = 10;
net.trainParam.lr = 0.05;
net.trainParam.goal = 1e-10;
net.trainParam.epochs = 50000;
net = train(net,p,goal);
x=[1.24 1.80;1.28 1.84;1.40 2.04]';
y0=sim(net,p)
y=sim(net,x)
§3 处理蠓虫分类的另一种网络方法
3.1 几个有关概念
在介绍本节主要内容之前,首先说明几个不同的概念。在上一节中,我们把利用BP算法确定联接强度,即权值的过程称为“学习过程”,这种学习的特点是,对任何一个输入样品,其类别事先是已知的,理想输出也已事先规定,因而从它所产生的实际输出与理想输出的异同,我们清楚地知道网络判断正确与否,故此把这一类学习称为在教样品按其本身特点分类,所要划分的类别是事先未知的,因而,在学习过程中,对每一输入所产生的输出也就无所谓对错,对于这样的情况,显另一个有关概念是所谓有竞争的学习。在上节所讨论的蠓虫分类网络中,尽管我们所希望的理想输出是(1,0)或(0,1),但实际输出并不如此,一般而言,两个输出单元均同时不为0。与此不同,我们完全可以设想另外一种输出模式:对应任何一组输入,所有输出单元中,只允许有一个处于激发态,即取值为1,其它输出单元均被抑制,即取值为0。一种形象的说法是,对应任何一组输入,要求所有的输出单元彼此竞争,唯一的胜利者赢得一切,
3.2 最简单的无监督有竞争的学习
品自动划分类别,相似的样品归于同一类别,因而激发同一输出单元,这一分类方式,是网络自身通过学习,从输入数据的关系中得出的。
蠓虫分类问题对应有教师的网络学习过程,显然不能由如上的方法来解决。但在这种无监督有竞争的学习阐明之后,很容易从中导出一种适用于有监督情况的网络方法;此外,本节所介绍的网络,在数据压缩等多种领域,都有其重要应用。
-236-
输入单元数目与每一样品的测量值数目相等,输出单元数目适当选取。每一个输入单元与所有输出单元联接,第j个输入元到第i个输出元的权记为wij]取1的输出元记为i,称之为优胜者.对于任何一组输入s,规定优胜者是有最大净输入的输出元,即对输入I=(I1,L,In)而言,
=*∑wIij
jj≡Wi⋅I (15)
取最大值的单元,其中Wi是输出元i所有权系数组成的向量,也就是说
Wi*⋅I≥Wi⋅I, (∀i) (16)
如果权向量是按照∑w
j2ij=1的方式标准化的,(16)式等价于
|Wi*−I|≤|Wi−I|, (∀i) (17) 即优胜者是其标准化权向量最靠近输入向量的输出元。令Oi*=1,其余的输出
Oi=0。这样的输出规定了输入向量的类别,但为了使这种分类方式有意义,问题化为如何将学习样本中的所有样品,自然地划分为聚类,并对每一聚类找出适当的权向量。为此,采用如下的算法:随机取定一组不大的初始权向量,注意不使它们有任何对称性。然后,将已知样品按照随机顺序输入网络。对输入样品s,按上文所述确定优胜者i,对所有与i有关的权作如下修正
Δwi*j=η(Ij−wi*j) (18)
所有其它输出单元的权保持不变。注意到Oi*=1,Oi=0(i≠i),所有权的修正公式可统一表示为
Δwi*j=ηOi(Ij−wi*j)
这一形式也可视为Hebb律的一种表现。(18)式的几何意义是清楚的,每次修正将优i有更大的获胜可能。可以合理地预期,反复重复以上步骤,使得每个输出单元对应了输入向量的一个聚类,相应的权向量落在了该聚类样品的重心附近。当然,这只是一个极不严密的说明。 标准化了的数据
*s**s*=整个过程不难由计算机模拟实现。
为了更有效地使用如上算法,下面对实际计算时可能产生的问题,作一些简要说明。 首先,向量,因此,永远不会成为优胜者,相应的权也就永远不会得到修正,这样的单元称之可以有多种方法。一种办法是初始权从学习样本中抽样选取,这就保证了它们都落在正确范围内;另一种办法是修正上述的学习算法,使得每一步不仅调整优胜者的权,同时也以一个小得多的η值,修正所有其它的权。这样,对于总是失败的单元,其权逐渐地朝着平均输入方向运动,最终也会在某一次竞争中取胜。此外,还存在有多种处理死单元的方法,感兴趣的读者可从文献中找到更多的方法。
-237-
18)或(19)中反映学习效率的参数η取为一个固定常数,那么权向量永远不会真正在某一有限点集上稳定下来。因此,应当考虑在公式中引进随学习时间而变化的收敛因子。例如,取η=η(t)=η0t−a,0
3.3 LVQ方法
上述有竞争学习的一个最重要应用是数据压缩中的向量量子化方法(Vector Quantization)。它的基本想法是,把一个给定的输入向量集合I分成M个类别,然后用类别指标来代表所有属于该类的向量。向量分量通常取连续值,一旦一组适当的类别确定之后,代替传输或存储输入向量本身,可以只传输或存储它的类别指标。所有的类别由M个所谓“原型向量”来表示,我们可以利用一般的欧氏距离,对每一个输入向量找到最靠近的原型向量,作为它的类别。显然,这种分类方法可以通过有竞争的学习直接得到。一旦学习过程结束,所有权向量的集合,便构成了一个“电码本”。
一般而言,上述无监督有竞争的学习,实际提供了一种聚类分析方法,对如蠓虫分类这种有监督的问题并不适用。1989年,Kohonen对向量量子化方法加以修改,提出了一种适用于有监督情况的学习方法,称为学习向量量子化(Learning Vector Quantization),该方法可用于蠓虫分类问题。在有监督的情况下,学习样品的类别是事先已知的,与此相应,每个输出单元所对应的类别也事先作了规定,但是,代表同一类别的输出单元可以不止一个。
在LVQ中,对于任一输入向量,仍按无监督有竞争的方式选出优胜者i,但权的修正规则则依输入向量的类别与i所代表的是否一致而不同,确切地说,令 **s
Δwi*js⎧η(Ij−wi*j)⎪=⎨−η(Is⎪j−wi*j)⎩一致情况不一致情况
前一种情况,修正和无监督的学习一致,权朝向样品方向移动一小段距离;后一种则相反,权向离开样品方向移动,这样就减少了错误分类的机会。
对于上述的蠓虫分类问题,我们编写Matlab程序如下:
clear
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;
1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08];
p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00
1.28,2.00;1.30,1.96];
p=[p1;p2]'
pr=minmax(p)
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)]
net = newlvq(pr,4,[0.6,0.4])
net = train(net,p,goal)
Y = sim(net,p)
x=[1.24 1.80;1.28 1.84;1.40 2.04]'
sim(net,x)
习 题 十 九
1. 利用BP算法及sigmoid函数,研究以下各函数的逼近问题
-238-
(i)f(x)=1,1≤x≤100 x
(ii)f(x)=sinx,0≤x≤π
2
对每一函数要完成如下工作:
① 获取两组数据,一组作为训练集,一组作为测试集;
② 利用训练集训练一个单隐层的网络;用测试集检验训练结果,改变隐层单元数,研究它对逼近效果的影响。
2. 给定待拟合的曲线形式为
f(x)=0.5+0.4sin(2πx)
在f(x)上等间隔取11个点的数据,在此数据的输出值上加均值为0,均方差σ=0.05的正态分布噪声作为给定训练数据,用多项式拟合此函数,分别取多项式的阶次为1,3和11阶,图示出拟合结果,并讨论多项式阶次对拟合结果的影响。
-239-