首页 > 心得体会 > 学习材料 / 正文
面向路面裂缝识别的深度语义分割方法
2023-03-04 13:50:11 ℃肖 义,孔玉霞,兰 俊,韩新雨,王 琪,潘星瑚
(辽宁科技学院 资源与土木工程学院,辽宁 本溪 117004)
公路为人们的日常生活提供便利,但公路的养护对人们来说是一项挑战[3]。根据研究表明:当一条质量合格的道路的使用时间达到其寿命的75%后,如果没有进行养护,那么随着使用时间的越来越长,其养护成本和养护难度也会随之增大。公路要做到建好、管好、护理好、运营好,而护理好不仅关系到公路运营,还关系到规划建设、公路管理。在公路养护中,裂缝是结构表面维护中最常见的病害之一。因此,对公路表面裂缝的提取是养护工作中决策的数据基础[1]。
现在公路裂缝数据来源主要是以移动检测车辆采集数据,采集到的数据因为车载移动场景数据量大、场景复杂、场景目标种类繁多(包括光照、遮挡、目标形态等),所以这项研究主要解决这三个主要问题。使用的检测算法,要同时满足具有一定提取精度、提取方式轻量化、提取结果实时三个要求。
通过语义分割的方式提取裂缝,也一直面临着以下的问题:
(1)数据集质量不佳,数据集存在图像尺寸不一致、图像标签格式不一致、标签类别不一致的问题,需要对数据进行统一格式。
(2)复杂的提取场景对模型的泛化能力提出一定的要求。
(3)路面病害检测对模型的实时性要求较高。
随着图像语义分割和全卷积神经网络的融合发展、计算机处理数据的速度提升、GPU的提升和使用,基于语义分割方法检测路面中的裂缝,不仅可以对道路病害进行像素级标注,还可以刻画病害形态,并准确地提取公路裂缝[2]。在U-Net FCN DEEPLAB系列等语义分割方法中,考虑到DeepLabV3+的encoder-decoder架构[3]。第一,它可以融合多尺度信息,应对复杂场景的特征提取。第二,它引入可任意控制编码器提取特征的分辨率,通过空洞卷积平衡精度,可以解决车载移动场景中数据大的问题,对裂缝进行快速提取。另外,Encoder中Backbone使用轻量化的神经网络MobilenetV2,整体模型也较小,可以在车载嵌入式系统中开发使用。文章实验采用上述理论来实现对公路裂缝的快速提取。
1.1 研究数据和数据预处理
文章使用的主要数据集是CRACK500,此数据集的来源是Lei Zhang,Fan Yang等在天普大学使用手机拍摄的250张大小为2 560×1 400的路面裂缝图片,并对裂缝图片进行逐像素地标注。CRACK500中的原始标签图片对应着原始图被划分为2种颜色,背景为黑色,裂缝区域为白色。其次另外一个补充数据集是Crack Forest-Dataset,里面包括329张影像,它可以反映城市道路路面状况。
图像为了适配网络模型,我们需要做一些预处理,如下:
(1)防止传入模型训练的单个影像过大,导致内存泄漏的问题,也为了方便模型的训练,每张子图片被裁剪成480×320的图像区域,并将裂缝区域低于500个像素的子图像删除,不参与训练。
(2)由于路面实际拍摄的裂缝图片具有裂缝方向多变,图片亮度不高、噪音较多等特点,文章对数据源进行简单的数据增强和增强对比度的处理[4]。
(3)转换成VOC标准格式,标签文件中裂缝的类别所对应的像素值必须是1,背景像素值必须是0,这里不对裂缝进行详细的分割提取。
1.2 模型提取与实现流程
通过使用DeeplabV3+语义分割模型,在encoder-decoder架构中,得到两个不同深度的有效特征层,较深的有效特征层送入ASPP中,另外一个低语义特征层则通过改变通道数和ASPP提取的特征融合[5],再通过卷积操作和重采样操作,得到预测结果。
图1 模型实现流程
1.2.1 Encoder特征提取
在Encoder部分,主要包括了主干网络(backbone)和ASPP两大部分。
主干网络使用MobilenetV2的网络模型,它分为两个部分,第一个部分是主干部分,首先利用1×1卷积进行升维,然后利用3×3深度可分离卷积(DW)进行特征提取,然后再利用1×1卷积降维。第二部分是残差边部分,当stride=1且输入特征与输出特征矩阵shape相同时,输入和输出直接利用shortcut连接。主干网络输出的第一部分送入ASPP模块,第二部分则送入Decoder模块。
图2 MobileNetV2神经网络
ASPP模块接收backbone的第一部分输出作为输入,用不同rate空洞卷积块(包括卷积、BN、激活层)和一个全局平均池化块(包括池化、卷积、BN、激活层)得到五组feature maps数据,将其拼接起来后,经过一个1×1卷积块(包括卷积、BN、激活、dropout层)进行特征压缩,最后送入Decoder模块。
1.2.2 Decoder特征提取
对主干网络输出的低级feature maps使用1×1卷积进行通道降维(可以更好地利用ASPP提取的特征);
然后,对来自ASPP的feature maps进行插值重采样,得到与低级feature maps尺寸相同的feature maps;
最后,将经过通道降维的低级feature maps和线性插值上采样得到的feature maps拼接起来,并送入一组3×3卷积块进行卷积处理和重采样操作,得到与原图分辨率大小一样的预测图。
1.3 模型训练
训练分为两个阶段,分别是冻结阶段和解冻阶段。Epoch设置为100,在epoch小于等于50的时候,冻结主干网络,对主干网络的权值文件不进行调整,并且前期50batch内设置内存空间(FREEZE_BATCH_SIZE)为8,后面解冻后设置为4,防止后期超参数过多,出现内存泄漏。学习率(LR)代表网络每次更新参数的速度,学习率越小网络训练时间越长,初始值设为0.007,学习率下降方式使用COS策略;
优化器使用SGD,动量因子(momentum)设为0.9,权重衰减系数设为1e-4;
训练网络的实验环境是1个RTX3060 6 GB 显卡、CUDA是11.3.1、CUDNN 8.0.5、软件框架是PYTORCH 1.10.1,基于以上训练参数可获得较好的训练结果。
1.4 精度评价
模型的优劣需要选择合适的评价标准MIOU进行评价。Accuracy是两个常用深度学习目标检测评价指标之一,它对路面裂缝分割结果进行分析具有很好的评价效果[7]。指标定义如下:Pixel Accuracy,像素精度是标记正确的像素占总像素的百分比。公式如下:
(1)
Mean IOU(mean intersection over union),均交并比在语义分割中作为标准度量一直被人使用,IOU公式如下:
(2)
MIOU是在所有类别的IOU上取平均值。其公式如下:
(3)
式中:TP表示目标为裂缝且检测结果也为裂缝(正检);
FP表示目标非裂缝而检测结果为裂缝(误检);
FN表示目标为裂缝而检测结果为背景(漏检)。通过上面两个指数的公式可知,当Accuracy和MIOU越大,证明模型的提取效果越好。
通过DeepLabV3+(backbone为MobileNetV2)语义分割模型算法,对道路裂缝分割提取实现自动化,准确率高达98.21%。提取的路面裂缝效果如图3所示。
图3 原始图片、预测图片、标签图片
图5 MIOU变化趋势
模型中epoch设置为100次训练时,Loss(图4)和MIOU(图5)的变化较小,基本保持恒定,变化规律如图5所示。通过实验证明epoch设置100次是可行的。
文章通过DeepLabV3+(backbone为MobileNetV2)语义分割模型在CRACK500数据集上进行训练,在数据集上模型的提取准确性高达98.21%,整体的MIOU为65%~70%,通过以上实验说明DeepLabV3+在裂缝提取方面具有较好的表现能力,能较好解决裂缝数据场景复杂、处理实时、准确的问题,并且鉴于模型是一个轻量化模型,可以将模型应用于嵌入式系统中,具有以下开发优势:
(1)提高数据集的场景多元化(在实际场景中,数据集中部分具有桥梁、墙壁的裂缝),向数据集中添加这一部分数据,并对数据进行数据增强,以提高模型的鲁棒性,增强其泛化能力。另外,使用生成对抗网络去生成虚假的路面裂缝场景,进一步扩大数据集。
(2)算法的优化,可以尝试将预测掩膜与真值掩膜二者之间的IOU和裂缝目标检测分类置信度结合起来度量道路裂缝掩膜的质量。
(3)尝试实现其他经典的语义分割方式,做模型融合及集成学习。
猜你喜欢 语义像素卷积 像素前线之“幻影”2000小哥白尼(军事科学)(2022年2期)2022-05-25基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02语言与语义开放教育研究(2020年2期)2020-03-31卷积神经网络的分析与设计电子制作(2019年13期)2020-01-14“像素”仙人掌红领巾·萌芽(2019年8期)2019-08-27从滤波器理解卷积电子制作(2019年11期)2019-07-04基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20ÉVOLUTIONDIGAE Style de vie tactile中国与非洲(法文版)(2017年10期)2017-11-23批评话语分析中态度意向的邻近化语义构建中国修辞(2017年0期)2017-01-31“社会”一词的语义流动与新陈代谢中国社会历史评论(2016年2期)2016-06-27猜你喜欢
- 2024-01-20 有关于第五次全国经济普查统计重点业务综合培训大会上讲话(完整文档)
- 2024-01-20 “严纪律、转作风、保安全、树形象”专题学习教育活动通知(完整文档)
- 2024-01-20 2024XX区住房城乡建设工作情况汇报
- 2024-01-20 2024高校思政教育交流材料:善用反腐败斗争这堂“大思政课”(精选文档)
- 2024-01-20 2024年主题教育专题党课辅导报告,(4)
- 2024-01-20 关于赴某地学习考察地方立法工作情况报告(范文推荐)
- 2024-01-20 2024年度关于增强党建带团建工作实效对策与建议(精选文档)
- 2024-01-20 教师演讲稿:春风化雨育桃李,,潜心耕耘满芬芳(全文)
- 2024-01-20 主题教育第二阶段来了
- 2024-01-20 2024年度关于到信访局实践锻炼个人总结【完整版】
- 搜索
-
- 打赌输了任人处理作文1000字7篇 05-12
- 当代大学生在全面建设社会主义现代化强 05-12
- 全面建成社会主义现代化强国的战略安排 03-10
- 个人廉洁自律方面存在的问题及整改措施 05-12
- 谈谈青年大学生在中国式现代化征程上的 05-12
- 2022年党支部第一议题会议记录(全文完 11-02
- 作为青年大学生如何肩负时代责任6篇 05-12
- 村党组织建设现状及工作亮点存在问题与 05-12
- 全面从严治党,自我革命重要论述研讨会 05-12
- 产业工人队伍建设改革(全文完整) 10-31
- 11-25国庆70周年庆典晚会 庆典晚会串词
- 11-25办公室礼仪的十大原则 浅谈办公室的电话礼仪
- 01-17用心灵轻轻地歌唱_心灵的歌唱
- 01-17也许你不是我一生的唯一|也许不是我
- 01-17爱了,请珍惜;不爱,趁早放手|爱就珍惜不爱就放手
- 01-17岁月带走的是记忆,但回忆会越来越清晰|有趣又有深意的句子
- 01-17曾经的美好只是曾经,我只想珍惜身边的人|我只想珍惜你
- 01-18从容不惊 [学会笑眼去看世界,不惊不乍,淡定从容]
- 02-03当代大学生学习态度调查报告
- 02-03常用护患英语会话
- 标签列表