基于视觉的缺陷检测
在机器视觉的应用中, 表面缺陷检测占据非常重要的位置, 因为其可有效地提高产品质量、 降低成本, 并可提高用户满意度。
根据表面图像的特点可以将基于视觉的缺陷检测技术分为两类：一类为不具备明显纹理特征材质的缺陷检测，如光学元件，金属类器件等；一类为纹理类材质的缺陷检测，如木材、布匹等。
根据缺陷的形状可以分为两类：广义线类，包括裂纹，刻痕等；广义点类，包括凸块，凹陷，孔穴，污物等。
基于视觉的缺陷检测的主要步骤为：
特征提取为其中的关键，缺陷特征提取的好坏直接影响检测的效果。
预处理的目的是减少图像的噪声，提高目标与背景的对比度，突出图像中的缺陷特征。
小波技术在预处理中的应用：
1. 小波去噪
2. 小波融合
可以将不同角度拍摄的图像进行融合
采用小波融合方法既能够很好地保留几幅源图像基本信息，又能够突出图像中的缺陷边缘、结构等高频信息，使融合后的图像信息更加全面、准确，图像质量效果更加优良，全方位地表达了缺陷特征，可以为缺陷的进一步分类识别提供充足的数据支持。
不具备明显纹理特征的图像检测
此类图像的特点为缺陷目标和背景对比度低，瑕疵目标的形状比较复杂，整个瑕疵目标占整幅图像的比例非常小，受噪声影响大，图像没有纹理。
由于图像中无纹理，缺陷特征一般先用边缘检测算子提取缺陷区域的边缘，在将其从目标图像中分割出来，提取其特征参数如周长，面积，质心，圆形度，伸长度等，以此来进行缺陷检测和分类。
边缘检测算子：
1. 梯度算子
2. LoG 算子
3. canny 算子
边缘检测算子需要准确的提取瑕疵边缘，又能抑制噪声的干扰，同时该算法还要具备快速、自适应性。需要寻找一种新或改进的算法。
为了辩识缺陷目标，需要将其与源图像的背景中分离出来，在此基础上进行进一步的处理和分析。
图像分割的算法：
1. 阈值分割
2. 区域生长
3. 分水岭
由于瑕疵图像目标和背景在灰度上有明显差别，瑕疵边缘像素点亮度高，背景和假边缘像素点的亮度低。可以采用阈值分割。
经边缘检测检测出的图像必然存在少许噪声污染，经过阈值分割处理后边界存在缺损，并且还会存在噪声点边缘，这将严重影响参数测量的准确性。为了得到更准确的结果，可以采用数学形态学方法对瑕疵边界缺损补偿，填充细小空洞、链接邻近物体、在不明显改变物体面积和现状的情况下平滑边界，也方便瑕疵区域像素覆盖的面积、周长、圆形度等特征参数的计算。
纹理缺陷检测
纹理缺陷检测就是确定纹理图像中灰度或空间分布与背景纹理显著不同的像素位置和幅度。
提取纹理缺陷特征的方法：①灰度直方图特征提取灰度均值灰度方差扭曲度、峰度、能量、嫡六维灰度直方图统计特征。②灰度共生矩阵特征。提取角二阶矩、对比度、相关、墒、方差、逆差矩六维灰度共生矩阵特征参数。③小波变换特征。采用二级小波分解的七维特征矢量, 将小波变换后各频带输出的范数作为分类特征。
1. 直方图统计特征
灰度直方图是图像中多种不同灰度的像素分布的概率统计。假设图像的采样具有256个灰度级（其灰度值i=0，1，2，3，…，255），灰度级 i 的总像素数为 N （i ），全图的像素总数为N ，那么灰度级i 概率为 p （i ）=（i ）/N， 统计在各个灰度级下的p （i ），从而构成了图像的一阶灰度直方图。
2. 灰度共生矩阵：
由于纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两像素间会存在一定的灰度关系，这种关系被称为图像中灰度的空间相关特征。灰度共生矩阵就是对图像上保持某距离的两像素分别具有某灰度的状况进行统计得到的。利用灰度共生矩阵的分析方法, 可以提取平面工件表面的图像纹理的特征参数, 对这些特征参数进行分析, 可以得到粗糙度的测量信息。通过图像的粗糙度来判断检测图像是否具有缺陷。
特点：
灰度共生矩阵不仅反映了图像灰度级的分布, 而且还描述了灰度级在空间上的依赖关系, 此外, 通过选取不同的相距, 灰度共生矩阵还能够灵活地描述纹理更为细微的特征。从灰度共生矩阵中提取角二阶矩、对比度、逆差分矩和熵等特征虽然能够很好地描述纹理。
缺点：
1、计算量大，对于L 灰度级的图像, 由于其灰度共生矩阵维数为L ×L, 因此从灰度共生矩阵中计算其特征量需要耗费巨大的存储空间和时间。虽然可以通过
灰度级压缩来减少共生矩阵的计算量, 然而对于纹理疵点检测这个特殊的应用, 这是远远不够的。
2、特征不突出，角二阶矩等特征只是对纹理总体一致性的评价, 而对于结构细微的不规则纹理则无能为力。
3. 小波：
小波变换是在傅里叶变换的基础上发展起来的，小波变换是一种信号的时间——频率分析方法。它具有多分辨率分析的特点, 且在时频两域都具有表征信号局部特征的能力, 是一种窗口大小固定不变但其形状可改变的时频局部化分析法。利用尺度从粗到细的逐步变化, 小波变换就渐渐聚焦到分析对象的区域细节上, 并把其微小变化放大出来, 因此极利于进行缺陷检测。
特点：
传统的傅立叶变换只能确定出信号中包含了突变成分, 但是不能确定突变产生的位置。而小波变换具有空间局部化性质 ,具有多分辨率分析的能力, 在时域和频域都具有表征信号局部特征的能力, 是一种时间窗和频率窗都可以改变的时域局部化分析方法。小波变换对于低频成分具有较高的频率分辨率和较低的时间分辨率, 在高频部分具有较高的时间分辨率和较低的频率分辨率, 很适合检测信号中的瞬态反常现象。
图像的小波子带纹理特征提取，从分解后的子带中提取能够反映织物图像类型、性质和状态的典型特征，如：能量、方差、熵、极差、对比度等，并对每一类特征值进行归一化处理。
缺点：
虽然小波变换方法无冗余，高频分量损失较小，具有较好的融合效果，但存在两个主要缺点：一是移变性，二是融合图像在重构时会受到一些外来因素的影响，所以仍会丢失一些边缘信息。
小波特征纹理缺陷检测的算法
①首先对图像进行中值滤波消噪处理，以减小在图像采集过程中所受到的如：光电转换、脉冲干扰、AD 转换中的误差以及工业现场的电磁干扰等影响。
②采用直方图均衡化方法调整图像的灰度直方图，增强图像的对比度，以突出图像中的瑕疵点部分。
③采用基于提升格式的D53整数小波变换对图像进行分解，将图像变换到小波频域，以便对图像进行时频与多分辨率分析，同时利用D53整数小波滤波器短、计算量少、速度快的优势，以满足检测的实时性需求。
④图像的小波子带纹理特征提取，从分解后的子带中提取能够反映织物图像类型、性质和状态的典型特征，如：能量、方差、熵、极差、对比度等，并对每一类特征值进行归一化处理。
⑤取正常样本按上述步骤进行训练得到其特征曲线与相关阈值，并保存于特征库中。
⑥对检测对象按步骤进行采集、预处理、小波变换与特征提取，并与特征库中的正常检测对象特征曲线进行比较，超出相应阈值范围则表示具有瑕疵点存在。
缺陷的识别和分类
神经网络：
由于BP 神经网络是目前所有神经网络中算法最为成熟, 应用最为广泛的一种神经网络, 且具有简单、易于实现等特点, 故常选择BP 神经网络检测和识别铸件表面缺陷。
特点：
神经网络的一个重要特性是它的学习能力, 通过自动调节自身的联系权重, 最终得到希望的输入输出映射。神经网络的学习能力使其特别适合解决模式识别一类的非线性问题, 且一旦学习完成后, 其响应过程简单。缺陷图像的模式识别并不是线性可分的, 基于BP 神经网络的非线性识别方法能够更准确地对缺陷图像进行识别分类。特别是对表观上差异较大的同一类缺陷图像, 也能进行比较准确的识别分类。, 神经网络可以进行并行处理, 其容错能力强, 具有自学习、自适应和在线自调整能力。
缺点：
随着所处理的数据空间维数增加，其网络训练速度较低，在线学习速度慢，实时性指标大为降低。（改进方法）
支持向量机：
SVM 模式分类方法的基本思想是通过非线性变换将线性不可分的输入模式映射到高维特征空间, 使模式在此高维空间线性可分, 从而在特征空间中构造一个最优分类超平面。同时, 借助对偶理论和引入适当的内积函数, 把特征空间中高维复杂的运算转化成为仅有原输入模式的内积运算, 使算法计算复杂度只与样本数有关, 而与维数无关。
特点：针对小样本、非线性以及高维识别问题比传统方法更有优势。
缺点：(1)训练样本都是已知样本, 分类器推广性能差；(2)在分类阶段, 计算待识别样本和最优分类超平面的距离差如果小于给定阈值则分类准确率下降, 特
别是对于特征值区别不很明显的两类缺陷样本；(3)核函数的选择自主性强, 导致选择最合适的参数很困难。
基于视觉的缺陷检测
在机器视觉的应用中, 表面缺陷检测占据非常重要的位置, 因为其可有效地提高产品质量、 降低成本, 并可提高用户满意度。
根据表面图像的特点可以将基于视觉的缺陷检测技术分为两类：一类为不具备明显纹理特征材质的缺陷检测，如光学元件，金属类器件等；一类为纹理类材质的缺陷检测，如木材、布匹等。
根据缺陷的形状可以分为两类：广义线类，包括裂纹，刻痕等；广义点类，包括凸块，凹陷，孔穴，污物等。
基于视觉的缺陷检测的主要步骤为：
特征提取为其中的关键，缺陷特征提取的好坏直接影响检测的效果。
预处理的目的是减少图像的噪声，提高目标与背景的对比度，突出图像中的缺陷特征。
小波技术在预处理中的应用：
1. 小波去噪
2. 小波融合
可以将不同角度拍摄的图像进行融合
采用小波融合方法既能够很好地保留几幅源图像基本信息，又能够突出图像中的缺陷边缘、结构等高频信息，使融合后的图像信息更加全面、准确，图像质量效果更加优良，全方位地表达了缺陷特征，可以为缺陷的进一步分类识别提供充足的数据支持。
不具备明显纹理特征的图像检测
此类图像的特点为缺陷目标和背景对比度低，瑕疵目标的形状比较复杂，整个瑕疵目标占整幅图像的比例非常小，受噪声影响大，图像没有纹理。
由于图像中无纹理，缺陷特征一般先用边缘检测算子提取缺陷区域的边缘，在将其从目标图像中分割出来，提取其特征参数如周长，面积，质心，圆形度，伸长度等，以此来进行缺陷检测和分类。
边缘检测算子：
1. 梯度算子
2. LoG 算子
3. canny 算子
边缘检测算子需要准确的提取瑕疵边缘，又能抑制噪声的干扰，同时该算法还要具备快速、自适应性。需要寻找一种新或改进的算法。
为了辩识缺陷目标，需要将其与源图像的背景中分离出来，在此基础上进行进一步的处理和分析。
图像分割的算法：
1. 阈值分割
2. 区域生长
3. 分水岭
由于瑕疵图像目标和背景在灰度上有明显差别，瑕疵边缘像素点亮度高，背景和假边缘像素点的亮度低。可以采用阈值分割。
经边缘检测检测出的图像必然存在少许噪声污染，经过阈值分割处理后边界存在缺损，并且还会存在噪声点边缘，这将严重影响参数测量的准确性。为了得到更准确的结果，可以采用数学形态学方法对瑕疵边界缺损补偿，填充细小空洞、链接邻近物体、在不明显改变物体面积和现状的情况下平滑边界，也方便瑕疵区域像素覆盖的面积、周长、圆形度等特征参数的计算。
纹理缺陷检测
纹理缺陷检测就是确定纹理图像中灰度或空间分布与背景纹理显著不同的像素位置和幅度。
提取纹理缺陷特征的方法：①灰度直方图特征提取灰度均值灰度方差扭曲度、峰度、能量、嫡六维灰度直方图统计特征。②灰度共生矩阵特征。提取角二阶矩、对比度、相关、墒、方差、逆差矩六维灰度共生矩阵特征参数。③小波变换特征。采用二级小波分解的七维特征矢量, 将小波变换后各频带输出的范数作为分类特征。
1. 直方图统计特征
灰度直方图是图像中多种不同灰度的像素分布的概率统计。假设图像的采样具有256个灰度级（其灰度值i=0，1，2，3，…，255），灰度级 i 的总像素数为 N （i ），全图的像素总数为N ，那么灰度级i 概率为 p （i ）=（i ）/N， 统计在各个灰度级下的p （i ），从而构成了图像的一阶灰度直方图。
2. 灰度共生矩阵：
由于纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两像素间会存在一定的灰度关系，这种关系被称为图像中灰度的空间相关特征。灰度共生矩阵就是对图像上保持某距离的两像素分别具有某灰度的状况进行统计得到的。利用灰度共生矩阵的分析方法, 可以提取平面工件表面的图像纹理的特征参数, 对这些特征参数进行分析, 可以得到粗糙度的测量信息。通过图像的粗糙度来判断检测图像是否具有缺陷。
特点：
灰度共生矩阵不仅反映了图像灰度级的分布, 而且还描述了灰度级在空间上的依赖关系, 此外, 通过选取不同的相距, 灰度共生矩阵还能够灵活地描述纹理更为细微的特征。从灰度共生矩阵中提取角二阶矩、对比度、逆差分矩和熵等特征虽然能够很好地描述纹理。
缺点：
1、计算量大，对于L 灰度级的图像, 由于其灰度共生矩阵维数为L ×L, 因此从灰度共生矩阵中计算其特征量需要耗费巨大的存储空间和时间。虽然可以通过
灰度级压缩来减少共生矩阵的计算量, 然而对于纹理疵点检测这个特殊的应用, 这是远远不够的。
2、特征不突出，角二阶矩等特征只是对纹理总体一致性的评价, 而对于结构细微的不规则纹理则无能为力。
3. 小波：
小波变换是在傅里叶变换的基础上发展起来的，小波变换是一种信号的时间——频率分析方法。它具有多分辨率分析的特点, 且在时频两域都具有表征信号局部特征的能力, 是一种窗口大小固定不变但其形状可改变的时频局部化分析法。利用尺度从粗到细的逐步变化, 小波变换就渐渐聚焦到分析对象的区域细节上, 并把其微小变化放大出来, 因此极利于进行缺陷检测。
特点：
传统的傅立叶变换只能确定出信号中包含了突变成分, 但是不能确定突变产生的位置。而小波变换具有空间局部化性质 ,具有多分辨率分析的能力, 在时域和频域都具有表征信号局部特征的能力, 是一种时间窗和频率窗都可以改变的时域局部化分析方法。小波变换对于低频成分具有较高的频率分辨率和较低的时间分辨率, 在高频部分具有较高的时间分辨率和较低的频率分辨率, 很适合检测信号中的瞬态反常现象。
图像的小波子带纹理特征提取，从分解后的子带中提取能够反映织物图像类型、性质和状态的典型特征，如：能量、方差、熵、极差、对比度等，并对每一类特征值进行归一化处理。
缺点：
虽然小波变换方法无冗余，高频分量损失较小，具有较好的融合效果，但存在两个主要缺点：一是移变性，二是融合图像在重构时会受到一些外来因素的影响，所以仍会丢失一些边缘信息。
小波特征纹理缺陷检测的算法
①首先对图像进行中值滤波消噪处理，以减小在图像采集过程中所受到的如：光电转换、脉冲干扰、AD 转换中的误差以及工业现场的电磁干扰等影响。
②采用直方图均衡化方法调整图像的灰度直方图，增强图像的对比度，以突出图像中的瑕疵点部分。
③采用基于提升格式的D53整数小波变换对图像进行分解，将图像变换到小波频域，以便对图像进行时频与多分辨率分析，同时利用D53整数小波滤波器短、计算量少、速度快的优势，以满足检测的实时性需求。
④图像的小波子带纹理特征提取，从分解后的子带中提取能够反映织物图像类型、性质和状态的典型特征，如：能量、方差、熵、极差、对比度等，并对每一类特征值进行归一化处理。
⑤取正常样本按上述步骤进行训练得到其特征曲线与相关阈值，并保存于特征库中。
⑥对检测对象按步骤进行采集、预处理、小波变换与特征提取，并与特征库中的正常检测对象特征曲线进行比较，超出相应阈值范围则表示具有瑕疵点存在。
缺陷的识别和分类
神经网络：
由于BP 神经网络是目前所有神经网络中算法最为成熟, 应用最为广泛的一种神经网络, 且具有简单、易于实现等特点, 故常选择BP 神经网络检测和识别铸件表面缺陷。
特点：
神经网络的一个重要特性是它的学习能力, 通过自动调节自身的联系权重, 最终得到希望的输入输出映射。神经网络的学习能力使其特别适合解决模式识别一类的非线性问题, 且一旦学习完成后, 其响应过程简单。缺陷图像的模式识别并不是线性可分的, 基于BP 神经网络的非线性识别方法能够更准确地对缺陷图像进行识别分类。特别是对表观上差异较大的同一类缺陷图像, 也能进行比较准确的识别分类。, 神经网络可以进行并行处理, 其容错能力强, 具有自学习、自适应和在线自调整能力。
缺点：
随着所处理的数据空间维数增加，其网络训练速度较低，在线学习速度慢，实时性指标大为降低。（改进方法）
支持向量机：
SVM 模式分类方法的基本思想是通过非线性变换将线性不可分的输入模式映射到高维特征空间, 使模式在此高维空间线性可分, 从而在特征空间中构造一个最优分类超平面。同时, 借助对偶理论和引入适当的内积函数, 把特征空间中高维复杂的运算转化成为仅有原输入模式的内积运算, 使算法计算复杂度只与样本数有关, 而与维数无关。
特点：针对小样本、非线性以及高维识别问题比传统方法更有优势。
缺点：(1)训练样本都是已知样本, 分类器推广性能差；(2)在分类阶段, 计算待识别样本和最优分类超平面的距离差如果小于给定阈值则分类准确率下降, 特
别是对于特征值区别不很明显的两类缺陷样本；(3)核函数的选择自主性强, 导致选择最合适的参数很困难。