第37卷第3期吉林大学学报(工学版)
V01.37No.3
2007年5月
JournalofJilinUniversity(EngineeringandTechnologyEdition)
May2007
遥感图像中基于视觉显著性的分层目标检测
张国敏,殷建平,祝
恩,强永刚
(国防科学技术大学计算机学院,长沙410073)
摘要:针对遥感图像自动判读的应用场景,提出了一种基于视觉显著性的分层目标检测方
法。该方法对于每一个特征定义一个偏好函数,并定义一个将各偏好函数计算的多个视觉显著性图像合成为一个视觉显著性图像的合成偏好函数。首先对低分辨率目标图像分别使用各偏好函数计算对应特征的视觉显著性图像;然后使用合成偏好函数计算合成的视觉显著性图像;最后定位出合成偏好函数取得最大值的区域,并将其作为最有可能包含目标的候选区域。这三个步骤在定位出的候选区域对应更高分辨率的图像上反复进行,直到待检测目标被发现或者被确定不存在为止。实验结果证明,该方法能够尽早地略过那些不包含目标的区域,与传统的目标检测方法相比,具有更好的检测效果和更少的计算量。关键词:信息处理技术;遥感图像;视觉显著性;特征;目标检测中图分类号:TP391
文献标识码:A
文章编号:1671—5497(2007)03—0625一05
Hierarchical
objectdetectioninremotesensingimagebased
on
Visionsaliency
111LL1ZhangGuo—min,YinJian—ping,ZhuEn,QiangYong_gang
(Sc^oDZD,Com夕“£er,N口£io咒nZLki删rsifyD,DP,0挖s已丁_c^咒oZDgy,C^n挖gs^口410073,CAi竹口)
Abstract:Ahierarchicalobjectdetectionmethodbased
on
visionsaliencywasproposedforautomatic
remotesensingimagetinterpretation.
Abias
functionforeachsin91efeaturewasdefin弓d,
and
a
compoundbiasfunctionforsynthesisofvisionsaliencyimagecomputedbyeachfunctionwasalso
defined.Forthe
lowresolution
original
image,
eachbias
functionwasusedto
generate
a
vision
saliency
imagecorresponding
to
a
certain
feature.
Then
synthesized
Vision
saliencyimagewas
computedusingthecompoundbiasfunctionfromthesevisionsaliencyimages.Furthermore,the
area
wherethe
compoundbiasfunctionwasmaximumwas10cated
as
themostpromising
object
area.
Thesethreestepswererepeatedover
thelocated
areas
inhigherresolutionlevelimageuntilthe
objects
werefoundor
assuredlyabsent.Experimentsshowthatthismethod
can
skip
over
theregionwhere
thereisno
object
as
early
as
possible,getbetterdetectionresultcomparedwithtraditionalmethods,
and
cost
much
lesscomputationalexpenditure,
which
proves
to
be
a
good
basisforlater
object
recognition.
Keywords:informationprocessingtechnology;
remotesensingimage;visionsaliency;feature;object
detection
收稿日期:2006一04—25.
基金项目:国家自然科学基金资助项目(60373023).
作者简介:张国敏(1980一),男,博士研究生.研究方向:模式识别.Bmail:luckydogtail@sina.com
通讯联系人:殷建平(1963一),男,教授,博士生导师.研究方向:人工智能,模式识别,算法设计与信息安全.
E—mail:jpyin@nudt.edu.cn
万
方数据
・
626
・
吉林大学学报(工学版)
第37卷
0
引言
传统目标识别系统设计大多仅考虑以下问题中的某几个[1]:模式类别定义、感知环境、模式表示、特征提取和选择、聚类分析、分类器的设计与学习、训练和测试样本的选取以及性能评估。其前端处理主要有两种方法:一种是直接根据待识别目标的特征,在输入图像中分窗口进行扫描,检测出可能包含目标的区域;另一种是对输入的图像进行分割,然后对分割结果中各个区域进行特征提取,识别出代表目标的区域。因此,其处理效果从本质上依赖于选取的待识别目标特征或图像分割效果。待识别目标或环境的不同,都会造成很大的目标特征差异,使得这两种方法只能构造出苛刻受限条件下的系统;图像分割本身就是一个带有歧义的过程[2],使得采用图像分割作为前端处理的系统,在复杂环境下很难得到足够好的效果。前端处理的本质缺陷决定了传统目标识别方法不可能有效解决待识别目标方向、位置和尺寸变化的问题,也不能对复杂场景进行理解。
遥感图像自动判读不仅仅需要对输入遥感图像中所包含的关键目标准确识别,还需要理解这些目标之间的相互关系,以及当前场景所隐藏的更深层次的信息。且遥感图像数据量大(通常在
100
M以上),目标种类繁多,姿态各异,环境复
杂,使得传统的目标识别系统技术不能有效地解
决这个问题。
利用认知心理学和神经物理学对人类视觉过程的深入研究发现,在人类对感知区域进行分析之前,还有两个过程[3]:一个是人的眼睛像聚光灯一样进行扫描,视点将停留在视觉反映强烈的地方;另一个是类似于镜头的聚焦过程,确定视区的大小,为进一步的分析打下基础。这两个过程交替进行,最终完成对整个场景的理解。
作者仿照人类的视觉过程,在对遥感图像进行目标识别之前,引入了一个基于视觉显著性的分层前期目标检测。针对遥感图像的判读通常带有一定的意图(如判断该图中是否含有机场等)的特点,提出了一种判读意图在前端处理中的映射机制,从而尽早的去除一些不包含有用信息的区域,减少后端处理的数据量。
1多尺度图像的获取
在遥感图像自动判读过程中,并不是所有的
万
方数据步骤都需要较高的分辨率,前期的区域筛选,只需要在其缩略图上进行。作者采用高斯重采样的方法获取原图像的多级分辨率图像。
设原图像为工(z,y)(表示原图像在坐标为(z,y)处的像素颜色空间向量)其中o≤z≤Ⅳ。,o≤y≤H。,w。为原图像宽度,H。为原图像高度。将原图像的第i级缩略图记作工i(z,y),其中0≤z≤Wi,0≤y≤H;。则有如式(1)的递推公式
Ji(z,y)一
r广
JII
J
JH((wH—LM+2馏-Jmodw一)modwH,
“2+≯≤(3r)2
(Hj一1一[铆+2砂]modH,-1)modHj一1)
——刍2
1
一!生兰
d“du
(1)
√27【r
式中:i>o,r为参数,满足式(2)的约束关系
Wi
Hi
1
谚=一百=一万
u’
,o、
JH(z,y)的分辨率为J;(z,岁)的6r倍,即Ii(z,y)的数据量为工H(z,了)的1/(36r2)。在实
际计算过程中,本文取r一2/3像素,o<i<4。在基于视觉显著性的决策过程中,按i从大到小的顺序,采用深度优先的方法,分别提取出L(z,y)中可能包含有用信息的候选区域。即首先在I。(z,3,)上找到一个最有可能包含有用信息的区域;然后将该区域对应的J。(z,y)图像区域作为进一步分析的输入,若此时有充分的证据证明
j。(z,了)中的该区域不包含分析意图相关的信息,
则将与j。(z,y)中的下一个候选区域对应的Jz(z,y)中的图像区域作为进一步分析的输入;对输入的图像区域重复上述过程,直到满足中止条件为止。该流程将在第3节中作详细描述。
2视觉显著性分析
根据显著性度量方法的不同,可将目前显著区域检测算法分为两大类[4’5]:基于视觉反差的算法;基于局部特征的算法。
基于视觉反差的算法是根据认知心理学和神经生物学的研究成果,模仿人类或其他动物的低级视觉机理,对输入的图像进行分析处理,提取出
特征。该过程属于从低级视觉空间到概念空间的
一个自下而上的过程,它较容易发现输入图像中含信息丰富的区域。基于视觉反差的方法大多是根据视觉感知过程提出来的,涉及的方法[5]主要包括DOG滤波,随机抽样匹配,Center-Surround
第3期张国敏,等:遥感图像中基于视觉显著性的分层目标检测
・627・
算子等。后者是当前的主要研究方向,其中以L.Itti的算法最具代表性[6’7]。该方法速度较快,且对噪声也不敏感,但是该方法对原图像的2D仿射变换非常敏感[8],且是基于固定尺寸的提取方法,对目标的尺度变化没有有效考虑。对于这一点,文献[5]作了一点改进,在选定显著区域位置后,采用了多个不同大小的尺度窗口对显著区域大小进行搜索,取峰值窗口大小为显著区域大小。但是,该方法仍然没有考虑目标形态和窗口形状之间的关系,且采用了穷举搜索的方法,因此,还
存在提高算法效果和性能的可能。同时,该方法
的中止条件没有明显的物理含义。
基于局部特征的算法需要先验知识,与具体的应用领域高度相关。其特征选取属于从概念空间到低级视觉层的自上而下的过程。在特定的意图下,该方法能够尽快地提取出符合意图的区域。传统的目标识别系统中基于特征对目标进行直接检测,也可以看成是该方法的一个特例。其中,启发式特征的选取是指针对特定目标或图像,计算其特定的局部物理量作为局部特征,并根据这些局部特征,对区域感兴趣的程度进行评估。常用的局部特征包括边缘密度、信息熵、纹理统计特征、频域特征等。以特定大小的窗口进行扫描,以求检测出目标候选区域的方法,就属于该类方法。这类方法的效果依赖于目标的特征的选取和分类器的构造。如基于目标特征的层次式视觉注意模型的人脸检测方法凹]。
这两大类方法依赖的基础大不相同,且取得较好效果时的情况具有具有一定的互补性。在遥感图像的自动解译过程中,由于识别目标的多样性和成像条件的复杂性,故需要综合考虑各种情况,才有可能取得较好的效果。针对遥感图像判读过程中的特点,本文在视觉显著性分析中,加入判读意图和关于目标特征的评估,从而尽可能早地在低分辨率缩略图中排除对最后判读无影响的区域,减小整个计算过程的时空开销,降低问题的复杂度,使得在相同的硬件条件下能解决更复杂的判读问题。
在意图和知识作用下的视觉显著性分析框架如图1所示。输入图像首先经过第2节中描述的高斯重采样方法作用后,获得原图像的多种分辨率缩略图。为了减少存储的中间数据,整个过程采用深度优先的方法。分析工作首先在最低分辨率的缩略图上进行,分析结果返回的视觉注意窗
万
方数据口区域在次低分辨率的缩略图上,相应位置的图像则作为下次分析的输入。
输入图像
判读意图
概念空间的目标描述
高斯重采样
特征分析
多分辨率图像
于空间局部变化的视差性分析
特征空间的目标描述
亮度跫彩/龟度特句∥/务向场特
在意图和特征空间关于目标的描述作用下带偏
见的视觉显著性融合
已提取区
图1在意图和知识作用下的视觉显著性分析框架
Fig.1
VisiOnsaHenceanaIysisframebased
0nintention
andknowledge
对于图像L(z,y),取半径为3^的圆形分析窗口。坐标为(z,y)处的像素,在RGB颜色空间中,分别用J;(z,y)、砰(z,y)、砰(z,y)来表示其R、G、B分量;在HSI空间中,分别用碍(z,y)、譬(z,y)、一(z,y)来表示其H、S、1分量。其中RGB颜色空间与HIS颜色空间之间的转换关系如式(3)所示
小z,y)一塑型型生皂盟±掣耿圳,一去[90—cts(警)们,
取圳,一,一型盟瑞畿掣
J尹(z,y)>J?(z,y);180,JP(z,y)<j?(z,y))]
(3)
・
628
・
吉林大学学报(工学版)第37卷
取训,一盟喘薯%皆
定义偏见函数沈口s(F,愚)如式(10)所示
.『
D(FD,z,y,五)dzdy
亮度特征计算方法如式(5)所示
甩@∥卜瓦菸×
抗乜s(F,愚)一
‘。’y)∈Lkec‘
(10)
"2+护≤9f。V…”4
对于给定图像Ji(z,y),在判读意图下计算Jj
jj((%一L甜+2rtz-Jm。d%)m。dw』,
其特征函数F(z,y),则该幅图像在该特征空间的显著性分布图Sf(z,y)的计算如式(11)所示
㈣1卅2^钊mo崛m甜%’去。_也如
S;(z,y)一统ns(F,FD(z,y))
,(11)
设图像Ji(z,y)的多个特征函数p(z,y)(o色度特征如式(6)所示
腿Q∥卜夏菸×
<J<C,C为有限常数)所对应的特征空间显著性分布图为S≯(z,y),则图像j。(z,y)上的目标显著性分布图融合结果记作Si(z,y),可由式(12)得到
。2+f≤9Z。V“”‘
门’J,((E—L“+2riz_Jm。dwJ)m。d啊,
Si(z,y)一土上L—:_—一
./∑(so(z,y))2
压=————一(12)
√C
㈣1计2删jm甜巩m甜印者T妇如
1
矿+矿
本文在训练样本集的第i层缩略图中分别计算了目标区域的Fji(z,y)、FHi(z,y)、FDi(z,y),然后按式(10)计算其对应的偏执函数6施s
方向特征如式(7)所示
(FJf,愚),6缸s(FHf,是)和6i口s(FDi,志)。
FDi(z,y)一arctg(max(
j:((眠一
对输入的图像进行目标检测时,按式(11)计…之3。
算SFJ(z,y),SFH(z,y)和SFD(z,y),最后通过式L甜+2rfz'JmodV吃)modVn,
(12)融合得到全局视觉显著性分布图S。(z,y),(码一L“+2riy-JmodE)modE)一疋(z,y)d口)÷以与max(Si(z,y))对应的点(z,y)为种子点,阈
‘)
max(I
J:((H—L“+2r≯_Jmod%)modV巳,
值T一鲁max(s。(z,y))进行区域生长得到显著
…毛3。
J
(Hj—L口+2riy.Jmod马)modHj)一曩(z,y)d“))
性最大的目标候选区域。在完成了对当前得到的目标候选区域的分析后,将与该区域对应的Si在判读意图的作用下,定义目标特征空间中
(z,y)置为O,并重新选择下一个满足条件的目标的偏见函数。用Object表示目标区域点的集合,函
候选区域,直到Si(z,y)中不再存在满足条件的眦∽=产杀群×zs5]
数F(z,3,)为描述0bj。。。的特征函数,将F(z,3,)归目标候选区域为止。一化并离散到[o,255],如式(8)所示
3
实验结果
FD(z,y)=l
!型!鱼罡
×≯55
max
本文以从一幅遥感图像中找出机场和飞机为
L,Lz,V,,
L_J
(z’y)∈0biect
例,说明基于视觉显著性分层的前期目标检测过程。实验数据来自GoogleEarth中的台北松山
定义判断函数D(FD,z,y,愚)如式(9)所示
国际机场影像,分辨率为1m/pixel。其中图2为附一啪肛{㈡葛兰:㈣
最小分辨率缩略图L(z,y)上的分析中间结果,在该分辨率图中,大致定位出了机场的位置和范围。在图3中,则在I。(z,y)上定位出了停机坪的位置。在图4中基本准确地定位出了飞机。
万
方数据
第3期张国敏,等:遥感图像中基于视觉显著性的分层目标检测
。629‘
4结论
提出的基于视觉显著性的分层目标检测方
法,能在一定程度上有效地解决遥感图像自动判读过程中区域的筛选和目标定位的问题。该方法对显著性信息的利用仅仅考虑单个像素及其周围邻近区域像素的特征值,而没有考虑空间的几何特征和纹理特征,下一步将研究人类对几何形状的显著性,并有望取得更好的结果。参考文献:
[1]Anil
K
Jain,RobertPwDuin,MaoJian-chang.
statisticalpatternrecognition:aTransactions
on
review[J].
IEEE
PatternAnalysisand
MachineInte卜
ligence,2000,22(1):34—37.
[2]DavidMartin,Charless
Adatabaseofitsapplicationand
Fowlkes,DoronTal,et
a1.
humansegmentednaturalimagesand
to
evaluatingsegmentationalgorithms
measuringecoIogicaIstatistics[c]∥ICCVVan—
couver。2001.
[3]
图2
Patrick
Cavanagh,
Angela
T
Labianca,
lan
M
对输入图像缩略图L(x,y)的分析处理过程
AnaIysisproce鹤onminiatureofinput
Thornton.Attention-basedvisualroutines:
sprites
Fig.2
image
[J].Cognition,2001,80:47—60.
[4]Sun
Ya0_ru.
Hierarchical
L(x,j,)
object-based
visualatten—
tionfor
machinevision[D].InstituteofPerception,
InformaticsUniver—
ActionandBehaviourSchoolofsityofEdinburgh,2003。
[5]张鹏,王润生.基于视点转移和视区追踪的图像显
著区域检测[J].软件学报,2004,15(6):891—898.
Zhang
Peng,Wang
on
Run—sheng.
Detectingsalient
extent
re—
gionsbased
locationshiftand
trace[J].
JournalofSoftware,2004,15(6):891—898.
[6]Itti
L,KochC,NieburE.A
modelofsaliency-sce矗eanalysis[J].
Machine
basedvisualattentionforrapidIEEETransactions
on
PatternAnalysisand
图3对输入图像缩略图J2(z,y)的分析处理过程
Fig.3
Analysisproc鹤s
on
Intelligence,1998,20(11):1254—1259.
miniatureofinputimage
[7]Itti
L.
Modelsofbottorn—upandtop—downvisual
at—
J2(x,y)
tention[D].
2000.
Califomia
Instituteof
Technology.
[8]Draper
B,LionelIeA.
EvaIuationofseIectiveatten—
tionunderIntl
similaritytransforms[c]∥InProcofthe
on
Workshop
AttentionandPerformanceinGraz,
Austria.
Computer
Vision(WAPCV’03),
(a)第1次作为输入的厶0力(b)目标定位结果2003,8:31—38.
图4对输入图像J-(x,y)的分析处理过程
Fig.4
Analysisprocess
on
[9]PaulViola,MichaeIJones.Rapidobject
sing
a
detection
u—
inputimageJl(x,y)
boostedcascadeof
simplefeatures[C]∥In
CVPR。2001.
万方数据
遥感图像中基于视觉显著性的分层目标检测
作者:作者单位:刊名:英文刊名:年,卷(期):被引用次数:
张国敏, 殷建平, 祝恩, 强永刚, Zhang Guo-min, Yin Jian-ping, Zhu En,Qiang Yong-gang
国防科学技术大学,计算机学院,长沙,410073
吉林大学学报(工学版)
JOURNAL OF JILIN UNIVERSITY(ENGINEERING AND TECHNOLOGY EDITION)2007,37(3)4次
参考文献(9条)
1. Anil K Jain;Robert P W Duin;Mao Jian-chang Statistical pattern recognition:a review 2000(01)2. David Martin;Charless Fowlkes;Doron Tal A database of human segmented natural images and itsapplication to evaluating segmentation algorithms and measuring ecological statistics 20013. Patrick Cavanagh;Angela T Labianca;Ian M Thornton Attention-based visual routines:sprites 20014. Sun Yao-ru Hierarchical object-based visual attention for machine vision 20035. 张鹏,王润生 基于视点转移和视区追踪的图像显著区域检测[期刊论文]-软件学报 2004(6)
6. Itti L;Koch C;Niebur E A model of saliencybased visual attention for rapid scene analysis 1998(11)7. Itti L Models of bottom-up and top-down visual attention 2000
8. Draper B;Lionelle A Evaluation of selective attention under similarity transforms 2003
9. Paul Viola;Michael Jones Rapid object detection using a boosted cascade of simple features 2001
本文读者也读过(5条)
1. 田昕. 魏蛟龙. 汪春鸣. 田金文. TIAN Xin. WEI Jiao-long. WANG Chun-ming. TIAN Jin-wen 卫星应用中基于视觉显著性的感兴趣区域图像编码算法[期刊论文]-光电工程2010,37(12)
2. 刘德连. 张建奇. 何国经. Liu Delian. Zhang Jianqi. He Guojing 背景高斯化的遥感图像目标检测[期刊论文]-光学学报2007,27(4)
3. 陈振学. 刘成云. 常发亮. CHEN Zhen-xue. LIU Cheng-yun. CHANG Fa-liang 基于生物视觉显著性的车辆车型识别[期刊论文]-计算机科学2010,37(2)
4. 王璐. 蔡自兴. WANG Lu. CAI Zi-Xing 未知环境中基于视觉显著性的自然路标检测[期刊论文]-模式识别与人工智能2006,19(1)
5. 田媚. 罗四维. 黄雅平. 赵嘉莉. Tian Mei. Luo Siwei. Huang Yaping. Zhao Jiali 基于局部复杂度和初级视觉特征的自底向上注意信息提取算法[期刊论文]-计算机研究与发展2008,45(10)
引证文献(4条)
1. 肖传民,史泽林,夏仁波,武伟 一种基于视觉显著性的边缘检测算法[期刊论文]-信息与控制 2014(01)2. 赵昱 图像感兴趣区域检测技术研究[学位论文]硕士 2011
3. 刘远 基于人类视觉感知特性的高分辨率遥感图像分割若干关键技术研究[学位论文]硕士 20104. 蒋萍 融合机器人视/嗅觉信息的气体泄漏源定位[学位论文]博士 2010
引用本文格式:张国敏. 殷建平. 祝恩. 强永刚. Zhang Guo-min. Yin Jian-ping. Zhu En. Qiang Yong-gang 遥感图像中基于视觉显著性的分层目标检测[期刊论文]-吉林大学学报(工学版) 2007(3)
第37卷第3期吉林大学学报(工学版)
V01.37No.3
2007年5月
JournalofJilinUniversity(EngineeringandTechnologyEdition)
May2007
遥感图像中基于视觉显著性的分层目标检测
张国敏,殷建平,祝
恩,强永刚
(国防科学技术大学计算机学院,长沙410073)
摘要:针对遥感图像自动判读的应用场景,提出了一种基于视觉显著性的分层目标检测方
法。该方法对于每一个特征定义一个偏好函数,并定义一个将各偏好函数计算的多个视觉显著性图像合成为一个视觉显著性图像的合成偏好函数。首先对低分辨率目标图像分别使用各偏好函数计算对应特征的视觉显著性图像;然后使用合成偏好函数计算合成的视觉显著性图像;最后定位出合成偏好函数取得最大值的区域,并将其作为最有可能包含目标的候选区域。这三个步骤在定位出的候选区域对应更高分辨率的图像上反复进行,直到待检测目标被发现或者被确定不存在为止。实验结果证明,该方法能够尽早地略过那些不包含目标的区域,与传统的目标检测方法相比,具有更好的检测效果和更少的计算量。关键词:信息处理技术;遥感图像;视觉显著性;特征;目标检测中图分类号:TP391
文献标识码:A
文章编号:1671—5497(2007)03—0625一05
Hierarchical
objectdetectioninremotesensingimagebased
on
Visionsaliency
111LL1ZhangGuo—min,YinJian—ping,ZhuEn,QiangYong_gang
(Sc^oDZD,Com夕“£er,N口£io咒nZLki删rsifyD,DP,0挖s已丁_c^咒oZDgy,C^n挖gs^口410073,CAi竹口)
Abstract:Ahierarchicalobjectdetectionmethodbased
on
visionsaliencywasproposedforautomatic
remotesensingimagetinterpretation.
Abias
functionforeachsin91efeaturewasdefin弓d,
and
a
compoundbiasfunctionforsynthesisofvisionsaliencyimagecomputedbyeachfunctionwasalso
defined.Forthe
lowresolution
original
image,
eachbias
functionwasusedto
generate
a
vision
saliency
imagecorresponding
to
a
certain
feature.
Then
synthesized
Vision
saliencyimagewas
computedusingthecompoundbiasfunctionfromthesevisionsaliencyimages.Furthermore,the
area
wherethe
compoundbiasfunctionwasmaximumwas10cated
as
themostpromising
object
area.
Thesethreestepswererepeatedover
thelocated
areas
inhigherresolutionlevelimageuntilthe
objects
werefoundor
assuredlyabsent.Experimentsshowthatthismethod
can
skip
over
theregionwhere
thereisno
object
as
early
as
possible,getbetterdetectionresultcomparedwithtraditionalmethods,
and
cost
much
lesscomputationalexpenditure,
which
proves
to
be
a
good
basisforlater
object
recognition.
Keywords:informationprocessingtechnology;
remotesensingimage;visionsaliency;feature;object
detection
收稿日期:2006一04—25.
基金项目:国家自然科学基金资助项目(60373023).
作者简介:张国敏(1980一),男,博士研究生.研究方向:模式识别.Bmail:luckydogtail@sina.com
通讯联系人:殷建平(1963一),男,教授,博士生导师.研究方向:人工智能,模式识别,算法设计与信息安全.
E—mail:jpyin@nudt.edu.cn
万
方数据
・
626
・
吉林大学学报(工学版)
第37卷
0
引言
传统目标识别系统设计大多仅考虑以下问题中的某几个[1]:模式类别定义、感知环境、模式表示、特征提取和选择、聚类分析、分类器的设计与学习、训练和测试样本的选取以及性能评估。其前端处理主要有两种方法:一种是直接根据待识别目标的特征,在输入图像中分窗口进行扫描,检测出可能包含目标的区域;另一种是对输入的图像进行分割,然后对分割结果中各个区域进行特征提取,识别出代表目标的区域。因此,其处理效果从本质上依赖于选取的待识别目标特征或图像分割效果。待识别目标或环境的不同,都会造成很大的目标特征差异,使得这两种方法只能构造出苛刻受限条件下的系统;图像分割本身就是一个带有歧义的过程[2],使得采用图像分割作为前端处理的系统,在复杂环境下很难得到足够好的效果。前端处理的本质缺陷决定了传统目标识别方法不可能有效解决待识别目标方向、位置和尺寸变化的问题,也不能对复杂场景进行理解。
遥感图像自动判读不仅仅需要对输入遥感图像中所包含的关键目标准确识别,还需要理解这些目标之间的相互关系,以及当前场景所隐藏的更深层次的信息。且遥感图像数据量大(通常在
100
M以上),目标种类繁多,姿态各异,环境复
杂,使得传统的目标识别系统技术不能有效地解
决这个问题。
利用认知心理学和神经物理学对人类视觉过程的深入研究发现,在人类对感知区域进行分析之前,还有两个过程[3]:一个是人的眼睛像聚光灯一样进行扫描,视点将停留在视觉反映强烈的地方;另一个是类似于镜头的聚焦过程,确定视区的大小,为进一步的分析打下基础。这两个过程交替进行,最终完成对整个场景的理解。
作者仿照人类的视觉过程,在对遥感图像进行目标识别之前,引入了一个基于视觉显著性的分层前期目标检测。针对遥感图像的判读通常带有一定的意图(如判断该图中是否含有机场等)的特点,提出了一种判读意图在前端处理中的映射机制,从而尽早的去除一些不包含有用信息的区域,减少后端处理的数据量。
1多尺度图像的获取
在遥感图像自动判读过程中,并不是所有的
万
方数据步骤都需要较高的分辨率,前期的区域筛选,只需要在其缩略图上进行。作者采用高斯重采样的方法获取原图像的多级分辨率图像。
设原图像为工(z,y)(表示原图像在坐标为(z,y)处的像素颜色空间向量)其中o≤z≤Ⅳ。,o≤y≤H。,w。为原图像宽度,H。为原图像高度。将原图像的第i级缩略图记作工i(z,y),其中0≤z≤Wi,0≤y≤H;。则有如式(1)的递推公式
Ji(z,y)一
r广
JII
J
JH((wH—LM+2馏-Jmodw一)modwH,
“2+≯≤(3r)2
(Hj一1一[铆+2砂]modH,-1)modHj一1)
——刍2
1
一!生兰
d“du
(1)
√27【r
式中:i>o,r为参数,满足式(2)的约束关系
Wi
Hi
1
谚=一百=一万
u’
,o、
JH(z,y)的分辨率为J;(z,岁)的6r倍,即Ii(z,y)的数据量为工H(z,了)的1/(36r2)。在实
际计算过程中,本文取r一2/3像素,o<i<4。在基于视觉显著性的决策过程中,按i从大到小的顺序,采用深度优先的方法,分别提取出L(z,y)中可能包含有用信息的候选区域。即首先在I。(z,3,)上找到一个最有可能包含有用信息的区域;然后将该区域对应的J。(z,y)图像区域作为进一步分析的输入,若此时有充分的证据证明
j。(z,了)中的该区域不包含分析意图相关的信息,
则将与j。(z,y)中的下一个候选区域对应的Jz(z,y)中的图像区域作为进一步分析的输入;对输入的图像区域重复上述过程,直到满足中止条件为止。该流程将在第3节中作详细描述。
2视觉显著性分析
根据显著性度量方法的不同,可将目前显著区域检测算法分为两大类[4’5]:基于视觉反差的算法;基于局部特征的算法。
基于视觉反差的算法是根据认知心理学和神经生物学的研究成果,模仿人类或其他动物的低级视觉机理,对输入的图像进行分析处理,提取出
特征。该过程属于从低级视觉空间到概念空间的
一个自下而上的过程,它较容易发现输入图像中含信息丰富的区域。基于视觉反差的方法大多是根据视觉感知过程提出来的,涉及的方法[5]主要包括DOG滤波,随机抽样匹配,Center-Surround
第3期张国敏,等:遥感图像中基于视觉显著性的分层目标检测
・627・
算子等。后者是当前的主要研究方向,其中以L.Itti的算法最具代表性[6’7]。该方法速度较快,且对噪声也不敏感,但是该方法对原图像的2D仿射变换非常敏感[8],且是基于固定尺寸的提取方法,对目标的尺度变化没有有效考虑。对于这一点,文献[5]作了一点改进,在选定显著区域位置后,采用了多个不同大小的尺度窗口对显著区域大小进行搜索,取峰值窗口大小为显著区域大小。但是,该方法仍然没有考虑目标形态和窗口形状之间的关系,且采用了穷举搜索的方法,因此,还
存在提高算法效果和性能的可能。同时,该方法
的中止条件没有明显的物理含义。
基于局部特征的算法需要先验知识,与具体的应用领域高度相关。其特征选取属于从概念空间到低级视觉层的自上而下的过程。在特定的意图下,该方法能够尽快地提取出符合意图的区域。传统的目标识别系统中基于特征对目标进行直接检测,也可以看成是该方法的一个特例。其中,启发式特征的选取是指针对特定目标或图像,计算其特定的局部物理量作为局部特征,并根据这些局部特征,对区域感兴趣的程度进行评估。常用的局部特征包括边缘密度、信息熵、纹理统计特征、频域特征等。以特定大小的窗口进行扫描,以求检测出目标候选区域的方法,就属于该类方法。这类方法的效果依赖于目标的特征的选取和分类器的构造。如基于目标特征的层次式视觉注意模型的人脸检测方法凹]。
这两大类方法依赖的基础大不相同,且取得较好效果时的情况具有具有一定的互补性。在遥感图像的自动解译过程中,由于识别目标的多样性和成像条件的复杂性,故需要综合考虑各种情况,才有可能取得较好的效果。针对遥感图像判读过程中的特点,本文在视觉显著性分析中,加入判读意图和关于目标特征的评估,从而尽可能早地在低分辨率缩略图中排除对最后判读无影响的区域,减小整个计算过程的时空开销,降低问题的复杂度,使得在相同的硬件条件下能解决更复杂的判读问题。
在意图和知识作用下的视觉显著性分析框架如图1所示。输入图像首先经过第2节中描述的高斯重采样方法作用后,获得原图像的多种分辨率缩略图。为了减少存储的中间数据,整个过程采用深度优先的方法。分析工作首先在最低分辨率的缩略图上进行,分析结果返回的视觉注意窗
万
方数据口区域在次低分辨率的缩略图上,相应位置的图像则作为下次分析的输入。
输入图像
判读意图
概念空间的目标描述
高斯重采样
特征分析
多分辨率图像
于空间局部变化的视差性分析
特征空间的目标描述
亮度跫彩/龟度特句∥/务向场特
在意图和特征空间关于目标的描述作用下带偏
见的视觉显著性融合
已提取区
图1在意图和知识作用下的视觉显著性分析框架
Fig.1
VisiOnsaHenceanaIysisframebased
0nintention
andknowledge
对于图像L(z,y),取半径为3^的圆形分析窗口。坐标为(z,y)处的像素,在RGB颜色空间中,分别用J;(z,y)、砰(z,y)、砰(z,y)来表示其R、G、B分量;在HSI空间中,分别用碍(z,y)、譬(z,y)、一(z,y)来表示其H、S、1分量。其中RGB颜色空间与HIS颜色空间之间的转换关系如式(3)所示
小z,y)一塑型型生皂盟±掣耿圳,一去[90—cts(警)们,
取圳,一,一型盟瑞畿掣
J尹(z,y)>J?(z,y);180,JP(z,y)<j?(z,y))]
(3)
・
628
・
吉林大学学报(工学版)第37卷
取训,一盟喘薯%皆
定义偏见函数沈口s(F,愚)如式(10)所示
.『
D(FD,z,y,五)dzdy
亮度特征计算方法如式(5)所示
甩@∥卜瓦菸×
抗乜s(F,愚)一
‘。’y)∈Lkec‘
(10)
"2+护≤9f。V…”4
对于给定图像Ji(z,y),在判读意图下计算Jj
jj((%一L甜+2rtz-Jm。d%)m。dw』,
其特征函数F(z,y),则该幅图像在该特征空间的显著性分布图Sf(z,y)的计算如式(11)所示
㈣1卅2^钊mo崛m甜%’去。_也如
S;(z,y)一统ns(F,FD(z,y))
,(11)
设图像Ji(z,y)的多个特征函数p(z,y)(o色度特征如式(6)所示
腿Q∥卜夏菸×
<J<C,C为有限常数)所对应的特征空间显著性分布图为S≯(z,y),则图像j。(z,y)上的目标显著性分布图融合结果记作Si(z,y),可由式(12)得到
。2+f≤9Z。V“”‘
门’J,((E—L“+2riz_Jm。dwJ)m。d啊,
Si(z,y)一土上L—:_—一
./∑(so(z,y))2
压=————一(12)
√C
㈣1计2删jm甜巩m甜印者T妇如
1
矿+矿
本文在训练样本集的第i层缩略图中分别计算了目标区域的Fji(z,y)、FHi(z,y)、FDi(z,y),然后按式(10)计算其对应的偏执函数6施s
方向特征如式(7)所示
(FJf,愚),6缸s(FHf,是)和6i口s(FDi,志)。
FDi(z,y)一arctg(max(
j:((眠一
对输入的图像进行目标检测时,按式(11)计…之3。
算SFJ(z,y),SFH(z,y)和SFD(z,y),最后通过式L甜+2rfz'JmodV吃)modVn,
(12)融合得到全局视觉显著性分布图S。(z,y),(码一L“+2riy-JmodE)modE)一疋(z,y)d口)÷以与max(Si(z,y))对应的点(z,y)为种子点,阈
‘)
max(I
J:((H—L“+2r≯_Jmod%)modV巳,
值T一鲁max(s。(z,y))进行区域生长得到显著
…毛3。
J
(Hj—L口+2riy.Jmod马)modHj)一曩(z,y)d“))
性最大的目标候选区域。在完成了对当前得到的目标候选区域的分析后,将与该区域对应的Si在判读意图的作用下,定义目标特征空间中
(z,y)置为O,并重新选择下一个满足条件的目标的偏见函数。用Object表示目标区域点的集合,函
候选区域,直到Si(z,y)中不再存在满足条件的眦∽=产杀群×zs5]
数F(z,3,)为描述0bj。。。的特征函数,将F(z,3,)归目标候选区域为止。一化并离散到[o,255],如式(8)所示
3
实验结果
FD(z,y)=l
!型!鱼罡
×≯55
max
本文以从一幅遥感图像中找出机场和飞机为
L,Lz,V,,
L_J
(z’y)∈0biect
例,说明基于视觉显著性分层的前期目标检测过程。实验数据来自GoogleEarth中的台北松山
定义判断函数D(FD,z,y,愚)如式(9)所示
国际机场影像,分辨率为1m/pixel。其中图2为附一啪肛{㈡葛兰:㈣
最小分辨率缩略图L(z,y)上的分析中间结果,在该分辨率图中,大致定位出了机场的位置和范围。在图3中,则在I。(z,y)上定位出了停机坪的位置。在图4中基本准确地定位出了飞机。
万
方数据
第3期张国敏,等:遥感图像中基于视觉显著性的分层目标检测
。629‘
4结论
提出的基于视觉显著性的分层目标检测方
法,能在一定程度上有效地解决遥感图像自动判读过程中区域的筛选和目标定位的问题。该方法对显著性信息的利用仅仅考虑单个像素及其周围邻近区域像素的特征值,而没有考虑空间的几何特征和纹理特征,下一步将研究人类对几何形状的显著性,并有望取得更好的结果。参考文献:
[1]Anil
K
Jain,RobertPwDuin,MaoJian-chang.
statisticalpatternrecognition:aTransactions
on
review[J].
IEEE
PatternAnalysisand
MachineInte卜
ligence,2000,22(1):34—37.
[2]DavidMartin,Charless
Adatabaseofitsapplicationand
Fowlkes,DoronTal,et
a1.
humansegmentednaturalimagesand
to
evaluatingsegmentationalgorithms
measuringecoIogicaIstatistics[c]∥ICCVVan—
couver。2001.
[3]
图2
Patrick
Cavanagh,
Angela
T
Labianca,
lan
M
对输入图像缩略图L(x,y)的分析处理过程
AnaIysisproce鹤onminiatureofinput
Thornton.Attention-basedvisualroutines:
sprites
Fig.2
image
[J].Cognition,2001,80:47—60.
[4]Sun
Ya0_ru.
Hierarchical
L(x,j,)
object-based
visualatten—
tionfor
machinevision[D].InstituteofPerception,
InformaticsUniver—
ActionandBehaviourSchoolofsityofEdinburgh,2003。
[5]张鹏,王润生.基于视点转移和视区追踪的图像显
著区域检测[J].软件学报,2004,15(6):891—898.
Zhang
Peng,Wang
on
Run—sheng.
Detectingsalient
extent
re—
gionsbased
locationshiftand
trace[J].
JournalofSoftware,2004,15(6):891—898.
[6]Itti
L,KochC,NieburE.A
modelofsaliency-sce矗eanalysis[J].
Machine
basedvisualattentionforrapidIEEETransactions
on
PatternAnalysisand
图3对输入图像缩略图J2(z,y)的分析处理过程
Fig.3
Analysisproc鹤s
on
Intelligence,1998,20(11):1254—1259.
miniatureofinputimage
[7]Itti
L.
Modelsofbottorn—upandtop—downvisual
at—
J2(x,y)
tention[D].
2000.
Califomia
Instituteof
Technology.
[8]Draper
B,LionelIeA.
EvaIuationofseIectiveatten—
tionunderIntl
similaritytransforms[c]∥InProcofthe
on
Workshop
AttentionandPerformanceinGraz,
Austria.
Computer
Vision(WAPCV’03),
(a)第1次作为输入的厶0力(b)目标定位结果2003,8:31—38.
图4对输入图像J-(x,y)的分析处理过程
Fig.4
Analysisprocess
on
[9]PaulViola,MichaeIJones.Rapidobject
sing
a
detection
u—
inputimageJl(x,y)
boostedcascadeof
simplefeatures[C]∥In
CVPR。2001.
万方数据
遥感图像中基于视觉显著性的分层目标检测
作者:作者单位:刊名:英文刊名:年,卷(期):被引用次数:
张国敏, 殷建平, 祝恩, 强永刚, Zhang Guo-min, Yin Jian-ping, Zhu En,Qiang Yong-gang
国防科学技术大学,计算机学院,长沙,410073
吉林大学学报(工学版)
JOURNAL OF JILIN UNIVERSITY(ENGINEERING AND TECHNOLOGY EDITION)2007,37(3)4次
参考文献(9条)
1. Anil K Jain;Robert P W Duin;Mao Jian-chang Statistical pattern recognition:a review 2000(01)2. David Martin;Charless Fowlkes;Doron Tal A database of human segmented natural images and itsapplication to evaluating segmentation algorithms and measuring ecological statistics 20013. Patrick Cavanagh;Angela T Labianca;Ian M Thornton Attention-based visual routines:sprites 20014. Sun Yao-ru Hierarchical object-based visual attention for machine vision 20035. 张鹏,王润生 基于视点转移和视区追踪的图像显著区域检测[期刊论文]-软件学报 2004(6)
6. Itti L;Koch C;Niebur E A model of saliencybased visual attention for rapid scene analysis 1998(11)7. Itti L Models of bottom-up and top-down visual attention 2000
8. Draper B;Lionelle A Evaluation of selective attention under similarity transforms 2003
9. Paul Viola;Michael Jones Rapid object detection using a boosted cascade of simple features 2001
本文读者也读过(5条)
1. 田昕. 魏蛟龙. 汪春鸣. 田金文. TIAN Xin. WEI Jiao-long. WANG Chun-ming. TIAN Jin-wen 卫星应用中基于视觉显著性的感兴趣区域图像编码算法[期刊论文]-光电工程2010,37(12)
2. 刘德连. 张建奇. 何国经. Liu Delian. Zhang Jianqi. He Guojing 背景高斯化的遥感图像目标检测[期刊论文]-光学学报2007,27(4)
3. 陈振学. 刘成云. 常发亮. CHEN Zhen-xue. LIU Cheng-yun. CHANG Fa-liang 基于生物视觉显著性的车辆车型识别[期刊论文]-计算机科学2010,37(2)
4. 王璐. 蔡自兴. WANG Lu. CAI Zi-Xing 未知环境中基于视觉显著性的自然路标检测[期刊论文]-模式识别与人工智能2006,19(1)
5. 田媚. 罗四维. 黄雅平. 赵嘉莉. Tian Mei. Luo Siwei. Huang Yaping. Zhao Jiali 基于局部复杂度和初级视觉特征的自底向上注意信息提取算法[期刊论文]-计算机研究与发展2008,45(10)
引证文献(4条)
1. 肖传民,史泽林,夏仁波,武伟 一种基于视觉显著性的边缘检测算法[期刊论文]-信息与控制 2014(01)2. 赵昱 图像感兴趣区域检测技术研究[学位论文]硕士 2011
3. 刘远 基于人类视觉感知特性的高分辨率遥感图像分割若干关键技术研究[学位论文]硕士 20104. 蒋萍 融合机器人视/嗅觉信息的气体泄漏源定位[学位论文]博士 2010
引用本文格式:张国敏. 殷建平. 祝恩. 强永刚. Zhang Guo-min. Yin Jian-ping. Zhu En. Qiang Yong-gang 遥感图像中基于视觉显著性的分层目标检测[期刊论文]-吉林大学学报(工学版) 2007(3)