反卷积荧光显微成像技术

反卷积荧光显微成像技术

白如星 89期七年制5班 指导教师：崔泽实

摘要: 反卷积荧光显微技术提高了光学显微镜的分辨率，是对活体细胞低漂白、低毒性荧光观测的有效方法。本文简要介绍了荧光显微镜、摄像及图像处理系统的组成，通过讨论反卷积显微成像技术的基本数学原理，介绍反卷积显微成像技术的医学实验中的应用。

关键词: 反卷积；荧光显微成像; 去模糊

传统的荧光显微镜由于其焦平面外信息的干扰造成图像质量差。近年来，由于光学仪器制造技术的进步，使图像分辨率有所提高，其典型代表即为激光共焦扫描显微成像技术以及CCD 视频摄像机。同时，借助计算机进行图像处理与分析技术的进展，特别是反卷积算法，的发展也使光学显微镜能够更好的发挥其作用。这两种方法在改善图像质量的作用上各有其优势。激光共焦显微镜能够方便、实时、清晰地显示物像。应用反卷积技术时，需要对所得图像进行反卷积图像复原计算，成像质量较差，在时间上具有一定滞后性。然而相比激光共焦显微技术，反卷积技术除了具有硬件结构简单、价格较低等优势之外，还具有对生物样本低漂白、低毒性这一重要特点。我们可以利用这一特点对活体细胞进行动态观察[1] 。

一﹑荧光显微镜及摄像系统

荧光显微镜有透射照明型和落射照明型两种[2]透射照明型荧光显微镜的激发光经暗场聚光镜达被检标本的下方，不进入物镜；而产生的荧光进入物镜。其效果低倍镜下明亮，高倍暗，不适于观察非透明标本。落射型又称反射型荧光显微镜的激发光从物镜与目镜间的镜筒进入经物镜照射到标本上产生的荧光再反射给物镜观察，适于透明及非透明标本。近代荧光显微镜多属此类。

图 1 落射式荧光显微镜及摄像系统

照明系统光路中的激发滤色镜和中间镜，是为了适合于被观察的荧光色素光谱的激发光而制作的。激发滤色镜是只从高压汞灯光谱中选取被观察的荧光色素所需的激发光波段的滤色镜; 中间镜是反射短于激发光波长的光、可透过长于激发光波长的长波光的滤色镜[3]。被中间镜反射的激发光集中于物镜, 通过它的照射和激发而发生荧光。插入于成像系统的吸收滤色镜是只将观察时所必须的荧光提取出来的滤色镜。从标本发出的荧光和在标本面上反射出来的激发光经物镜而到达中间镜。中间镜反射掉对于观察所不需要的

激发光(即短波长的光) , 使长波长的荧光透过。继而通过吸收滤色镜排除残留的激发光或不用的光, 只有目的地提取根据观察目标所需的荧光。

摄像及显示系统与显微镜的连接可如上图所示。

在计算机中可安装与摄像机像适应的软件进行图像显示、复原、分析、三维重建。 二 ﹑反卷积图像复原技术

运用反卷积算法对图像进行去噪、去模糊等复原处理，需要建立物体成像模型。

[8]

图2 成像及复原模式图

在上图中，F I (x , y ) 是用来表征源图像某一属性的函数，可为图像的光强度等信息。空间图像退化环节表示，源图像在成像过程中由于焦点面各点之间相互干扰以及焦面外的点对焦面上点的干扰而造成的模糊，这一过程可用F I (x , y ) ∗H D (x , y ) 表示。符号“*”表示卷积运算，H D (x , y ) 表示模糊冲激响应。N (x , y ) 表示成像及拍照过程中由于测量误差或不确定因素，而造成的图像退化，此类模糊退化称为噪声。

F O (x , y ) =F I (x , y ) ∗H D (x , y ) +N (x , y ) ，表示成像系统所成的像，称为抽样图像。反转滤波器环节表示

对抽样图像进行去噪，去模糊处理，最后得到复原后图像F R (x , y ) 。

F R (x , y ) =[F I (x , y ) ∗H D (x , y ) +N (x , y ) ]∗H R (x , y ) ------------（1）

H R (x , y ) ，称为这一滤波器的冲激响应或点扩展函数（PSF ）。

在成像及图像复原过程中，虽然都是做卷积运算[4]。但由于卷积运算是一种积分运算，操作不方便，具体运算时一般都把要做卷积运算的函数进行傅立叶变换，比如

F I (ωx , ωy ) =

R •R

∫∫F (x , y ) exp{-i (ωx +ωy ) }dxdy

I

x

y

相应如果

F R (ωx , ωy ), H D (ωx , ωy ), (ωx , ωy ), H R (ωx , ωy ) 分别表示

F R (x , y ), H D (x , y ), N (x , y ), H R (x , y ) 的傅立叶变换（亦称为其频谱函数，其中H D (ωx , ωy ) 又

，则根据傅立叶变换的卷积定理[4]，（1）式可写称为模糊传递函数H R (ωx , ωy ) 又称为滤波器的传递函数）为

F R (x , y ) =⎡⎣F I (ωx , ωy ) i H D (ωx , ωy ) + (ωx , ωy ) ⎤⎦H R (ωx , ωy ) ------（2）

此时，只要对F R (x , y ) 进行傅立叶反变换，即可得到复原后图像F R (x , y ) 。

（一）维纳滤波器

在选择适当H R (x , y ) ，即H R (ωx , ωy ) 时考虑使S =E

{[F (x , y ) −F (x , y ) ]}达到最小, 考虑到噪声成

2

1

R

分W N (ωx , ωy ) 及源图像各像素点之间的联系W F I (ωx , ωy ) 则[5]

H R (ωx , ωy ) =

H D (ωx , ωy ) +

∗

H D (ωx , ωy ) 2N x y -----------------（3）

F I (ωx , ωy )

式中H D (ωx , ωy ) 表示H D (ωx , ωy ) 的共轭函数。此滤波器称为维纳滤波器。

∗

（二）盲目复原技术

维纳滤波模型及其变形中，不同程度地利用到了有关成像系统中的退化函数H D (ωx , ωy ) ，噪声功率频谱W N (ωx , ωy ) ，理想图像功率频谱W F I (ωx , ωy ) 等信息。当这些信息无法获取或难以把握时，这些方法便难以奏效。以下的盲目图像复原可以在一定程度上弥补这一缺陷。

1．直接测量法[6]

直接测量复原法通常要求测量成像系统的模糊冲激响应和噪声功率频谱（见公式（3））或协方差函数。按定义点源物体的像就是模糊冲激响应。因此，可以用点源成像来获得模糊冲激响应。在背景光相对恒定地方内测量图像的协方差可以估计出测量图像的噪声协方差函数。

2. 间接估计法

对理想图像测得足够多，足够密的样本，使得理想图像在连续的M 帧序列里保持恒定。对每一帧图像有

G i (x , y ) =F I (x , y ) +N i (x , y ) -----------------------------------------（4）

F I (x , y ) 是理想图像，G i (x , y ) 是观测图像，N i (x , y ) 是与理想图像无关的加法性噪声。对M 帧图像求均

值，得

1

F I (x , y ) =

M 1

(, ) G x y −∑i

M i =1

M

∑N (x , y )

i

i =1

M

当M 足够大时，上式噪声项趋向于E [N (x , y )]，在零平均值（白高斯噪声）的情况下，E [N (x , y )]为零。于是

1

F I (x , y ) =

M

∑G (x , y )

i i =1

M

对于有模糊退化及噪声的观测图像，可以先用斯托克姆盲目复原法[7]对单帧图像去除噪声，再将这一系列去噪图像进行去模糊处理。对每一帧图像有，

F O (x , y ) =F I (x , y ) ∗H D (x , y ) +N (x , y )

将观测图像分成64×64方块，此时他们具有相同退化函数H D (x , y ) ，对这些方块进行统计学处理获得功

率频谱复原滤波器的传递函数H R (ωx , ωy ) 估计值

⎡⎤W FI (ωx , ωy )

⎥ H R (ωx , ωy ) =⎢2

⎢H D (ω, ω) W (ω, ω) +W (ω, ω) ⎥

x y x y N x y ⎦FI ⎣

将所求出来的复原图像G i (x , y ) 作为无噪声图像进行下一去模糊不处理。此时

1/2

G i (x , y ) =F I (x , y ) ∗H i (x , y )

对上式傅立叶变换，并取对数得

ln[G i (ωx , ωy )]=ln[F i (ωx , ωy )]+ln[H i (ωx , ωy )]

此式形式上与（4）式相似，处理后得到[8]

F I (ωx , ωy ) =exp[

n

K (ωx , ωy )

M

[∏G i (ωx , ωy )]1/M ------------------------ (5)

−1

i =1

M

其中K

(ωx , ωy ) =lim ∑ln[H i (ωx , ωy )]. 对（5）式进行傅立叶逆变换，便可得还原后的理想图像

M →∞

i =1

F I (x , y ) 的近似值。

盲目图像复原不必精确的知道成像系统的退化函数、噪声模型，这也正是其被称为“盲目”之故，从而

提供了方便快捷的图像复原法。

（三） 三维成像模型

实际成像时，所得平面信息除了受到焦平面各点之间信息的相互干扰及噪声影响之外，亦有焦平面外的信息干扰，特别在用显微镜进行切片成像时。为了得到更为理想的还原效果，需要考虑三维成像系统。

三维成像模型与二维模型类似[9]，

F O (x , y , z ) =F I (x , y , z ) ∗H (x , y , z ) +N (x , y , z )

对图像进行二维或三维反卷积复原运算之后，可以利用不同层次的信息进行三维重建。

三﹑医学应用

因此，反卷积运算是图像信号处理的主旋律，在影像医学[10]，显微观察成像[11]领域有着重要应用。 前已述及用软处理方法对显微图像进行处理比激光共焦扫描虽效果较差，但其对活体生物标本低漂白、低毒性，因此可广泛用于活体显微观察。绿荧光蛋白（GFP ）[12]使细胞内蛋白都被染上荧光，进而可以动态的观察细胞内某一蛋白的分布或是某一细胞结构的变化。李栋栋等用反卷积对囊泡的荧光成像进行处理，使囊泡图像更为清晰，为观察囊泡运动提供更为有效的方法[11]。

四﹑总结 随着生命科学研究的日益深入，动态、低扰、清晰地观察活体细微结构将是人们研究生命活动的必要手段。获得清晰的荧光图像可以使我们能够更好地研究细胞动力学。反卷积算法是解决图像模糊的基本工具，随着图像复原软处理的算法的不断发展，特别是盲目图像复原算法，将会起到更大的作用。

参考文献：

[1] 李栋栋，郭学彬，瞿安等. 应用三维荧光反卷积显微技术观察活体细胞. 生理通讯,2002.V ol.21,246. [2] 崔泽实. 医学实验器材基本原理及应用(试用本). 第二版. 沈阳：中国医科大学印刷厂，2003:104. [3] 张淼丽译, 李继硕校.[日]上杉. 光显微镜摄影技术. 神经解剖学杂志,2000,16(3),301-

310.

[4] 张元林编. 积分变换. 第四版. 北京：高等教育出版社，2003：40. [5] C.W.Helstrom.“Image Restoration by The Method of Least Squres，”J.OPT.Soc.Am,57,3,March 1967,293-303 [6] A.Papoulis.“Proximations of Point Spreads for Deconvolution,” J.OPT.Soc.Am.,62,1,January 1972,77-80. [7] T. G. Stockham，Jr. T. M. cannon，and P. B. Ingebretsen.“Blind Deconvolution Through Digital Signle

Processing,”Proc. IEEE，63，4，April 1975，678-692.

[8] 高荣坤，王贻良，濮群等译，陈贻运校. [美]W.K.普拉特著. 数字图像处理学. 北京：科学出版社, 1984：

267.

[9] 李睿凡，旖发刚，瞿安等. 三维反卷积显微成像技术浅谈. 生物学杂志，2001，V ol.18，No.6.

[10] 邓振生，倪道平，蒋大宗等. 用反卷积法校正X 线图像散射的方法. 生物医学工程学杂志, 1997，14

（2）：137-143.

[11] 李栋栋，郭学彬，瞿安等. 以三维荧光反卷积显微技术研究活体细胞中分泌囊泡的空间分布. 生物化

学与生物物理学报，2003，35(7)：671-676.

[12] J.R.Swedlow，M.Platani.Live Cell Imaging Using Wide-Field Microscopy and Deconvolution.Cell Structure

and Function.2002，27:335-341.

反卷积荧光显微成像技术

白如星 89期七年制5班 指导教师：崔泽实

摘要: 反卷积荧光显微技术提高了光学显微镜的分辨率，是对活体细胞低漂白、低毒性荧光观测的有效方法。本文简要介绍了荧光显微镜、摄像及图像处理系统的组成，通过讨论反卷积显微成像技术的基本数学原理，介绍反卷积显微成像技术的医学实验中的应用。

关键词: 反卷积；荧光显微成像; 去模糊

传统的荧光显微镜由于其焦平面外信息的干扰造成图像质量差。近年来，由于光学仪器制造技术的进步，使图像分辨率有所提高，其典型代表即为激光共焦扫描显微成像技术以及CCD 视频摄像机。同时，借助计算机进行图像处理与分析技术的进展，特别是反卷积算法，的发展也使光学显微镜能够更好的发挥其作用。这两种方法在改善图像质量的作用上各有其优势。激光共焦显微镜能够方便、实时、清晰地显示物像。应用反卷积技术时，需要对所得图像进行反卷积图像复原计算，成像质量较差，在时间上具有一定滞后性。然而相比激光共焦显微技术，反卷积技术除了具有硬件结构简单、价格较低等优势之外，还具有对生物样本低漂白、低毒性这一重要特点。我们可以利用这一特点对活体细胞进行动态观察[1] 。

一﹑荧光显微镜及摄像系统

荧光显微镜有透射照明型和落射照明型两种[2]透射照明型荧光显微镜的激发光经暗场聚光镜达被检标本的下方，不进入物镜；而产生的荧光进入物镜。其效果低倍镜下明亮，高倍暗，不适于观察非透明标本。落射型又称反射型荧光显微镜的激发光从物镜与目镜间的镜筒进入经物镜照射到标本上产生的荧光再反射给物镜观察，适于透明及非透明标本。近代荧光显微镜多属此类。

图 1 落射式荧光显微镜及摄像系统

照明系统光路中的激发滤色镜和中间镜，是为了适合于被观察的荧光色素光谱的激发光而制作的。激发滤色镜是只从高压汞灯光谱中选取被观察的荧光色素所需的激发光波段的滤色镜; 中间镜是反射短于激发光波长的光、可透过长于激发光波长的长波光的滤色镜[3]。被中间镜反射的激发光集中于物镜, 通过它的照射和激发而发生荧光。插入于成像系统的吸收滤色镜是只将观察时所必须的荧光提取出来的滤色镜。从标本发出的荧光和在标本面上反射出来的激发光经物镜而到达中间镜。中间镜反射掉对于观察所不需要的

激发光(即短波长的光) , 使长波长的荧光透过。继而通过吸收滤色镜排除残留的激发光或不用的光, 只有目的地提取根据观察目标所需的荧光。

摄像及显示系统与显微镜的连接可如上图所示。

在计算机中可安装与摄像机像适应的软件进行图像显示、复原、分析、三维重建。 二 ﹑反卷积图像复原技术

运用反卷积算法对图像进行去噪、去模糊等复原处理，需要建立物体成像模型。

[8]

图2 成像及复原模式图

在上图中，F I (x , y ) 是用来表征源图像某一属性的函数，可为图像的光强度等信息。空间图像退化环节表示，源图像在成像过程中由于焦点面各点之间相互干扰以及焦面外的点对焦面上点的干扰而造成的模糊，这一过程可用F I (x , y ) ∗H D (x , y ) 表示。符号“*”表示卷积运算，H D (x , y ) 表示模糊冲激响应。N (x , y ) 表示成像及拍照过程中由于测量误差或不确定因素，而造成的图像退化，此类模糊退化称为噪声。

F O (x , y ) =F I (x , y ) ∗H D (x , y ) +N (x , y ) ，表示成像系统所成的像，称为抽样图像。反转滤波器环节表示

对抽样图像进行去噪，去模糊处理，最后得到复原后图像F R (x , y ) 。

F R (x , y ) =[F I (x , y ) ∗H D (x , y ) +N (x , y ) ]∗H R (x , y ) ------------（1）

H R (x , y ) ，称为这一滤波器的冲激响应或点扩展函数（PSF ）。

在成像及图像复原过程中，虽然都是做卷积运算[4]。但由于卷积运算是一种积分运算，操作不方便，具体运算时一般都把要做卷积运算的函数进行傅立叶变换，比如

F I (ωx , ωy ) =

R •R

∫∫F (x , y ) exp{-i (ωx +ωy ) }dxdy

I

x

y

相应如果

F R (ωx , ωy ), H D (ωx , ωy ), (ωx , ωy ), H R (ωx , ωy ) 分别表示

F R (x , y ), H D (x , y ), N (x , y ), H R (x , y ) 的傅立叶变换（亦称为其频谱函数，其中H D (ωx , ωy ) 又

，则根据傅立叶变换的卷积定理[4]，（1）式可写称为模糊传递函数H R (ωx , ωy ) 又称为滤波器的传递函数）为

F R (x , y ) =⎡⎣F I (ωx , ωy ) i H D (ωx , ωy ) + (ωx , ωy ) ⎤⎦H R (ωx , ωy ) ------（2）

此时，只要对F R (x , y ) 进行傅立叶反变换，即可得到复原后图像F R (x , y ) 。

（一）维纳滤波器

在选择适当H R (x , y ) ，即H R (ωx , ωy ) 时考虑使S =E

{[F (x , y ) −F (x , y ) ]}达到最小, 考虑到噪声成

2

1

R

分W N (ωx , ωy ) 及源图像各像素点之间的联系W F I (ωx , ωy ) 则[5]

H R (ωx , ωy ) =

H D (ωx , ωy ) +

∗

H D (ωx , ωy ) 2N x y -----------------（3）

F I (ωx , ωy )

式中H D (ωx , ωy ) 表示H D (ωx , ωy ) 的共轭函数。此滤波器称为维纳滤波器。

∗

（二）盲目复原技术

维纳滤波模型及其变形中，不同程度地利用到了有关成像系统中的退化函数H D (ωx , ωy ) ，噪声功率频谱W N (ωx , ωy ) ，理想图像功率频谱W F I (ωx , ωy ) 等信息。当这些信息无法获取或难以把握时，这些方法便难以奏效。以下的盲目图像复原可以在一定程度上弥补这一缺陷。

1．直接测量法[6]

直接测量复原法通常要求测量成像系统的模糊冲激响应和噪声功率频谱（见公式（3））或协方差函数。按定义点源物体的像就是模糊冲激响应。因此，可以用点源成像来获得模糊冲激响应。在背景光相对恒定地方内测量图像的协方差可以估计出测量图像的噪声协方差函数。

2. 间接估计法

对理想图像测得足够多，足够密的样本，使得理想图像在连续的M 帧序列里保持恒定。对每一帧图像有

G i (x , y ) =F I (x , y ) +N i (x , y ) -----------------------------------------（4）

F I (x , y ) 是理想图像，G i (x , y ) 是观测图像，N i (x , y ) 是与理想图像无关的加法性噪声。对M 帧图像求均

值，得

1

F I (x , y ) =

M 1

(, ) G x y −∑i

M i =1

M

∑N (x , y )

i

i =1

M

当M 足够大时，上式噪声项趋向于E [N (x , y )]，在零平均值（白高斯噪声）的情况下，E [N (x , y )]为零。于是

1

F I (x , y ) =

M

∑G (x , y )

i i =1

M

对于有模糊退化及噪声的观测图像，可以先用斯托克姆盲目复原法[7]对单帧图像去除噪声，再将这一系列去噪图像进行去模糊处理。对每一帧图像有，

F O (x , y ) =F I (x , y ) ∗H D (x , y ) +N (x , y )

将观测图像分成64×64方块，此时他们具有相同退化函数H D (x , y ) ，对这些方块进行统计学处理获得功

率频谱复原滤波器的传递函数H R (ωx , ωy ) 估计值

⎡⎤W FI (ωx , ωy )

⎥ H R (ωx , ωy ) =⎢2

⎢H D (ω, ω) W (ω, ω) +W (ω, ω) ⎥

x y x y N x y ⎦FI ⎣

将所求出来的复原图像G i (x , y ) 作为无噪声图像进行下一去模糊不处理。此时

1/2

G i (x , y ) =F I (x , y ) ∗H i (x , y )

对上式傅立叶变换，并取对数得

ln[G i (ωx , ωy )]=ln[F i (ωx , ωy )]+ln[H i (ωx , ωy )]

此式形式上与（4）式相似，处理后得到[8]

F I (ωx , ωy ) =exp[

n

K (ωx , ωy )

M

[∏G i (ωx , ωy )]1/M ------------------------ (5)

−1

i =1

M

其中K

(ωx , ωy ) =lim ∑ln[H i (ωx , ωy )]. 对（5）式进行傅立叶逆变换，便可得还原后的理想图像

M →∞

i =1

F I (x , y ) 的近似值。

盲目图像复原不必精确的知道成像系统的退化函数、噪声模型，这也正是其被称为“盲目”之故，从而

提供了方便快捷的图像复原法。

（三） 三维成像模型

实际成像时，所得平面信息除了受到焦平面各点之间信息的相互干扰及噪声影响之外，亦有焦平面外的信息干扰，特别在用显微镜进行切片成像时。为了得到更为理想的还原效果，需要考虑三维成像系统。

三维成像模型与二维模型类似[9]，

F O (x , y , z ) =F I (x , y , z ) ∗H (x , y , z ) +N (x , y , z )

对图像进行二维或三维反卷积复原运算之后，可以利用不同层次的信息进行三维重建。

三﹑医学应用

因此，反卷积运算是图像信号处理的主旋律，在影像医学[10]，显微观察成像[11]领域有着重要应用。 前已述及用软处理方法对显微图像进行处理比激光共焦扫描虽效果较差，但其对活体生物标本低漂白、低毒性，因此可广泛用于活体显微观察。绿荧光蛋白（GFP ）[12]使细胞内蛋白都被染上荧光，进而可以动态的观察细胞内某一蛋白的分布或是某一细胞结构的变化。李栋栋等用反卷积对囊泡的荧光成像进行处理，使囊泡图像更为清晰，为观察囊泡运动提供更为有效的方法[11]。

四﹑总结 随着生命科学研究的日益深入，动态、低扰、清晰地观察活体细微结构将是人们研究生命活动的必要手段。获得清晰的荧光图像可以使我们能够更好地研究细胞动力学。反卷积算法是解决图像模糊的基本工具，随着图像复原软处理的算法的不断发展，特别是盲目图像复原算法，将会起到更大的作用。

参考文献：

[1] 李栋栋，郭学彬，瞿安等. 应用三维荧光反卷积显微技术观察活体细胞. 生理通讯,2002.V ol.21,246. [2] 崔泽实. 医学实验器材基本原理及应用(试用本). 第二版. 沈阳：中国医科大学印刷厂，2003:104. [3] 张淼丽译, 李继硕校.[日]上杉. 光显微镜摄影技术. 神经解剖学杂志,2000,16(3),301-

310.

[4] 张元林编. 积分变换. 第四版. 北京：高等教育出版社，2003：40. [5] C.W.Helstrom.“Image Restoration by The Method of Least Squres，”J.OPT.Soc.Am,57,3,March 1967,293-303 [6] A.Papoulis.“Proximations of Point Spreads for Deconvolution,” J.OPT.Soc.Am.,62,1,January 1972,77-80. [7] T. G. Stockham，Jr. T. M. cannon，and P. B. Ingebretsen.“Blind Deconvolution Through Digital Signle

Processing,”Proc. IEEE，63，4，April 1975，678-692.

[8] 高荣坤，王贻良，濮群等译，陈贻运校. [美]W.K.普拉特著. 数字图像处理学. 北京：科学出版社, 1984：

267.

[9] 李睿凡，旖发刚，瞿安等. 三维反卷积显微成像技术浅谈. 生物学杂志，2001，V ol.18，No.6.

[10] 邓振生，倪道平，蒋大宗等. 用反卷积法校正X 线图像散射的方法. 生物医学工程学杂志, 1997，14

（2）：137-143.

[11] 李栋栋，郭学彬，瞿安等. 以三维荧光反卷积显微技术研究活体细胞中分泌囊泡的空间分布. 生物化

学与生物物理学报，2003，35(7)：671-676.

[12] J.R.Swedlow，M.Platani.Live Cell Imaging Using Wide-Field Microscopy and Deconvolution.Cell Structure

and Function.2002，27:335-341.