杨 翠，刘 冲，王海曼，董婷婷，魏雅婷，谷孟丽

（安庆师范大学 数理学院，安徽 安庆 246133）

在工业印染过程中，由于操作环境和机器使用劳损等因素，印刷产品的表面通常不可避免地出现很多斑点污染。斑点缺陷类型复杂、大小和规模不一，绝大多数厂家对此类缺陷问题采用人工检测方法。然而人工检测不仅成本高，同时长时间检测人员容易疲劳以致造成过高的失误率。所以，基于机器视觉的人工智能检测方式是当前的必然趋势，但也面临巨大挑战。

目前，很多国内产品的外包装瑕疵和产品缺陷检测任务也采用机器视觉技术，常见算法模型有高斯模型[1]、支持向量机模型[2]、聚类模型[3]和BP神经网络模型[4]。这些模型对具有明显单一的特征缺陷能达到较好的局部检测效果。然而，产品表面斑点缺陷与常规产品缺陷有本质的区别，其属于一种微瑕疵，具有高度复杂性和多样性等特点，这使得常见的技术方案很难适用。近年来，随着深度神经网络技术的发展和应用，产品缺陷智能化检测技术也得以广泛发展，特别是Girshick提出的RCNN[5]网络框架，为众多产品检测提供了高精度的模型基础，但运行速度制约了其应用。相对于RCNN的低时效性，Joseph提出的YOLOV[6]框架网络以及同类改进的YOLOV2[7]和YOLOV4[8]仅使用了一次回归方案，有效地节省了运行时间，但同类任务的识别率通常要低于RCNN网络。为了获得更高的运行效率，Ren等对RCNN进行了改进并提出了Faster-RCNN模型[9]，充分提高了算法速度，使Faster-RCNN网络成为当前目标检测领域最实用的模型。然而，对于具有复杂多样化的产品缺陷特征，Faster-RCNN容易受斑点周边其它因素干扰，模型预测效果很难达到实际应用要求。所以，大部分实际问题需要通过一定的预处理方案以排除局部干扰因素，从而改善模型精度。

为此，针对具有复杂且多样化的斑点缺陷检测问题，本文首先运用暗通道图像增强算法对图像进行了特征增强预处理，然后构建了一种基于Faster-RCNN框架的轻量化网络模型以减少训练时间，并采用特征图对深度网络模型进行非端对端训练以提高模型推理能力，从而实现局部缺陷的高效检测。

本文设计的斑点缺陷算法包含三个阶段。首先，对原始输入图像进行预处理，增强图像斑点特征；
然后，提取预处理图像的梯度特征图；
最后，以Faster-RCNN框架为基础，构建轻量化网络模型来进行训练预测，具体流程如图1所示。

图1 斑点缺陷检测算法流程

1.1 数据收集

本文收集的斑点缺陷数据主要来源于真实印刷品表面和人为构建，其中人为构建的斑点缺陷占绝大部分。通过对各种印刷产品外观缺陷进行图像拍摄，共采集2 000张图片，像素分辨率为1600×2 400。为了获取更好的训练效果，本文对采集的图像进2×2行列分割剪裁，并排除其中无效数据，获得了5 600幅大小为400×600且具有斑点缺陷的训练图集。

1.2 数据预处理

采集的斑点图像来源于真实环境中的印刷品实物表面，由于外界环境存在一定的噪声和灰尘污染，会对斑点缺陷识别造成干扰，而直接构建网络模型训练会弱化模型的推理能力，所以本文对图像进行预处理以增强斑点特征体现。具体预处理方法如下，首先，由于在采集时图像易受拍摄环境影响而导致模糊，最大干扰因素是光照度，且光照度最容易受雾气、光线等干扰，所以本文采用暗通道去雾算法[10]对图像进行去模糊处理以提高图像明亮度和清晰度。其次，由于斑点边缘色差模糊，会导致边缘特征不可区分，采用非锐化模糊掩蔽技术对图像进行锐化，使得图像相交处不同颜色边缘的对比度增加，有利于更好地识别图像斑点特征。图像锐化步骤如下：

（1）利用高斯滤波对输入图像I进行滤波平滑，得到滤波图像Ī；

（2）对输入图像和滤波图像作“差”运算，得到特征蒙版图L；

（3）对输入图像I和蒙版图L作“和”运算，可得边缘特征增强图像Î。

1.3 数据特征提取

斑点缺陷属于微瑕疵，具有复杂形状和大小不一的尺度，相对特征不明显，直接对预处理图像进行模型训练，斑点特征容易受周边相似因素干扰，模型时效性很难得到保证。鉴于此，本文考虑对图像进行灰度梯度特征提取，然后利用特征图进行网络训练，该方式不仅能强化模型特征识别能力，还可以减少网络深度。图像特征提取可利用公式：

其中，q(i,j)表示图像I在(i,j)点处的灰度像素值。

1.4 轻量化深度网络模型建立

（1）网络模型

针对微瑕疵斑点缺陷，本文基于Faster-RCNN[9]网络框架，构建了轻量化的深度网络模型（图2），详细网络搭建参考文献[10]。本网络包含1个输入层、3个3×3和2个1×1的卷积层、4个relu激活层、2个框回归层、1个候选域提取层、1个候选域池化层、1个RPN激活层、3个全连接层、1个Softmax激活层、1个RPN分类层和1个分类输出层，共计21层网络层，结构相对简单，使用方便。网络主要通过框回归输出层和类别分类输出层给出所识别的斑点缺陷及斑点外框，所以在模型训练时需要考虑外框和类别两个结果损失。

图2 基于Faster-RCNN的深度网络模型

（2）损失函数

网络训练应考虑分类损失和框回归损失的综合损失，通常是对二者进行加权平均。可设分类损失函数为LC，框回归损失为LG，则综合损失定义为

2.1 训练选项设置

本模型选择matlab环境进行训练，训练参数设置见表1。根据经验选取的求解器solver采用带动量的随机梯度下降的sgdm，参照样本尺寸选择批量输入图像为1，最小学习率‘MiniBatchSize’默认为0.001，训练的最大轮数‘MaxEpochs’设置为100。

表1 训练参数设置

2.2 整体性能分析

（1）识别率

本文采用分类指标——识别率作为性能分析指标，并选用常见的目标检测神经网络模型RCNN[5]、Fast-RCNN[11]、Faster-RCNN[9]、YOLOV2[7]和SSD[12]，网络结构皆采用具有41层的浅层网络vgg16[13]，进行对比分析。测试数据集为本文构建的5 600张中的1/3，训练集为其中的2/3。将测试集中的斑点按框选半径分成三类，分别对应小、中、大3种规模类型，各种算法检测精度见表2。可看出，以RCNN为基础框架的模型，利用两阶段分类回归方案的检测精度明显比Yolov2和SSD算法高，但对于小规模的斑点缺陷，可能训练集提供的参考不多，很多微小斑点因为特征不明显而被漏检。本文算法由于先对图像进行了相应处理，增强了斑点特征表征，使得微小斑点的特征局部得以更好表现。同时，采用了梯度特征图进行训练预测，避免了模型受相似因素的干扰，所以能以一个轻量化的网络结构获取高精度的检测结果。

表2 不同方法的缺陷检测精度对比

（2）稳定性

图3为上述各方法的漏检率统计学分析结果，图中中心标记为红色的横线表示中位数，箱子的底边和顶边分别表示第25个和75个百分位数，虚线会延伸到不是离群值的最远端数据点，离群值以“+”号单独绘制。由漏检数箱线分布图可知，Yolov2和SSD更多集中在3，且对于一些斑点模式复杂的图像，出现更多的漏检点，红色“+”号表示离群漏检值。而本文提出的方法漏检率基本上没有超过2，第25和75个百分位数值比较接近，表明对不同类型的斑点特征识别率差异较小，算法具有较好的稳定性。

图3 各种算法斑点漏检数目的箱线分布

2.3 结果分析

本文分析了几种方法的检测精度，并展示了部分图像的检测结果，如图4和图5所示。图4为大中小混合类型的斑点缺陷检测结果，从图4（b）～（d）可看出，RCNN及其改进的FastRCNN、FasterRCNN能有效检测出中大型斑点，对于一些微小且边缘结构不明显的微瑕疵（图4（b）～（d）中紫色圆圈内的斑点），即使FasterRCNN也难以识别。本文算法采用了特征增强和梯度特征识别模式，对所有具有一定规模的特征皆可识别为瑕疵点，所以对不存在类斑点结构的检测任务也具有高效的识别率。图5为微小型斑点，由于背景相似因素的干扰，RCNN、Yolov2和SSD方法的漏检率比较高，很难胜任该类问题。FastRCNN和FasterRCNN漏检率类似，对于特征小且不明显的斑点很难识别，而本文算法通过非端对端的梯度特征学习，能较好学习所有斑点特征，可有效识别微小斑点。

图4 混合尺度斑点缺陷的各种算法检测

图5 各种再生对微小型斑点缺陷的检测结果

本文针对产品外观斑点缺陷提出了一种基于FasterRCNN框架构建的微瑕疵检测方法。该方法的特点在于对图像进行去模糊和边缘特征增强预处理，并采用梯度特征图替代原始输入的模型训练策略，使得训练的模型更具简洁性和适用性。本文算法对大中型混合斑点缺陷具有较好的检测效果，可以迁移应用于类似斑点任务检测，所构建的模型是一种轻量化的网络，对于尺度差异比较大的混合类型斑点缺陷和类斑点特征结构。本文算法仍存在一定的局限性，需要更多训练集和更深层的网络构架来提升实用精度。

猜你喜欢瑕疵斑点预处理可爱的小斑点新作文·小学低年级版(2022年3期)2022-08-30斑点豹智慧少年·故事叮当(2021年5期)2021-08-23登记行为瑕疵与善意取得排除的解释论法律方法(2021年4期)2021-03-16哦，瑕疵扬子江诗刊(2019年3期)2019-11-12哦，瑕疵扬子江(2019年3期)2019-05-24猪身上起红斑点怎么办?今日农业(2019年15期)2019-01-03基于预处理MUSIC算法的分布式阵列DOA估计制导与引信(2017年3期)2017-11-02浅谈PLC在预处理生产线自动化改造中的应用工业设计(2016年11期)2016-04-16络合萃取法预处理H酸废水环境科技(2015年6期)2015-11-08毫无瑕疵的推理科普童话·百科探秘(2015年5期)2015-05-26