基于深度学习的绝缘子缺陷检测研究（二）

通过对原始掩膜图像的商量呈现，原始的掩膜图像并不是二值图像，假若直接用原始的图像实行模子的锻练恐怕对影响模子的锻练恶果，以是起首对原始的掩膜图像实行的二值化操作，使得掩膜图像像素值只要 0 和 255 两种像素。

因为无人机图片尺寸过大且不团结，不行直接将其动作神经汇集的输入。而直接对原图像实行resize 操作会导致图片失真影响锻练恶果，为体会决这一题目， 本文采用图像切分的方式对原图像实行打点。起首将原图像长宽都 resize 到 256的倍数，然后用 256×256 的滑动窗口对原图像实行切割，并以原图像名+每幅图像的地点对切割后的图像实行定名，便于后续对图像实行还原。比如：子图001_10_6.jpg 显露为原图像 001.jpg 的第 10 行第 6 列的地点。原图和其切割后的图像分辨如图 4 和图 5 所示。

原始数据集共有 40 张无人机图片，原委图像切分后数据集变为了 14459 个子图片，关于深度练习项目来说，数据集是不足的。正在此咱们通过 OpenCV 对切割后的原图和标注图像实行数据集扩张打点，重要有随机调度巨细（让出角落），图像边际拼接角落，扭转图像（随机角度），仿射变换（平移），缩放，增加噪声（插足高斯噪声，椒盐噪声）等方式将数据集扩张到了原先的 8 倍。

原委图像切分和数据扩增后数据集被扩增到了 115672 张子图片，因为绝缘子占整张图片的中的很小的一个人，以是正在整个的数据召集没有对象（即绝缘子） 的图片占绝大无数，假若把这些图片都放入模子中实行锻练，恐怕会导致模子对配景的识别材干大于对绝缘子的识别材干，导致绝缘子的割裂恶果不佳。因而， 咱们必要将数据集实行调度，使得数据集特别平均。通过对割裂后的标签图像寻得整个带有对象的图片一共 15718 张子图片，然后正在整个只含配景图片中随机选出 15718 张图片，组成新的数据集。

正在深度神经汇集中使分别率下降的特点提取个人可能称为编码器，光复到原图片分别率的称为解码器，这类汇集比如Unet[2]和Segnet[4]。

基于全卷积神经汇集(FCN)，文献[2]，提出了一种 U 行机闭的全卷机神经汇集—Unet。Unet 神经汇集模子被通常的利用到遥感影像和医学影像的语义割裂， 该模子是一种编码解码汇集机闭。其汇集机闭如图 8 所示，它重要由特点提取个人和上采用还原个人构成，特点提取个人反复地行使了 2 个 3 × 3 卷积层和一个2 × 2 最大池化层。上采样还原个人行使了两倍的上采样和两个 3 × 3 卷积层，每上采样一次都和特点提取个人与之对应的特点图实行拼接，此中每两个 3 × 3 卷积层中第一个 3 × 3 卷积层的影响是下降特点图的数目和提取特点。结果采用Softmax 分类器实行像素级的分类，抵达语义割裂恶果。

基于全卷机神经汇集文献[4]提出了一种新的、适用的用于语义像素割裂的深度全卷积神经汇集机闭 SegNet。Segnet 神经汇集是一种以深度卷积为根源，调和编码-解码机闭(encoder-decoder)的深度练习汇集。编码器汇集妥协码器汇集的对称机闭组成了 Segnet 的重要个人，除此之外尚有少少输出层。编码器汇集由用于图像分类的 VGG16 汇集的前 13 层构成，对应图 9 对称机闭的左半个人，与完美的 VGG16 汇集比拟省略了３层，这是因为统统汇集机闭移除了用正在特点提取层之间的全相接层，撑持正在编码器的深层汇集输出中保存更高分别率的特点图， 同时大幅度省略锻练时参数的数目。编码汇集个人征求 13 个卷积层（Convolution），此中征求与其配合的批归一化层（Batch Normalization, BN）、激活层 Rectified Linear Unit, ReLU）及池化层（Pooling）；解码汇集包罗沟通的 13层卷积层，及与池化层对应的上采样层（Upsampling）。汇集结果通过 Softmax 分类器实行像素点分类，完毕语义割裂。

基于 Unet 和 Segnet 神经汇集文献[5]正在 2018 年提出了一种全卷积神经汇集（FCN），它是 SegNet 和 U-Net 两种通常利用的深度练习割裂机闭的羼杂，用于厘正脑机闭割裂，汇集机闭如图 10 所示。固然基础架构好似于 SegNet，但创造性地将 Unet 中的跳跃相接机闭引入 Segnet 中，这些跳跃相接有助于所提出的汇集搜捕细粒度众标准消息，以便更好地识别机闭范围。

本文基于文献[5]提出的 U-Segnet 神经汇集模子，提出了一种新的全卷积神经汇集(FCN)模子—U-Segnet-Pro，汇集机闭如图 11 所示。因为本文主意是从无人机图像平分割出绝缘子，而因为无人机图片较大，绝缘子串珠吞噬图片中很小的 一个人区域，要思特别精准的割裂出绝缘子，这就请求提取到图片更深层更工致 的特点，即请求汇集抵达必定的深度。然而深层的汇集可以提取到更高级其它特 征消息，但随之惹起的梯度弥散题目却导致汇集无法收敛，以至汇集退化题目， 即扩展汇集方针反而会导致更大的差错。针对此题目文献[1]提出了一种残差汇集 机闭(Residual Network)，该机闭处分了因为扩展汇集深度导致模子退化这一题目。故本文为了取得更好的割裂恶果，正在原始的 U-Segnet 汇集编码个人后引入 3 个残差块(Resnet Block)抵达扩展汇集深度的主意。

小白21天押金打卡 丨 零根源线上特训营 丨 初阶线上特训营 丨 众因子政策线上特训营 丨 线上剖析实战研修班 丨 五一/暑假线下实训营