一种基于超参数优化的目标检测模型融合方法及融合系统与流程

本发明涉及机器学习和计算机视觉
技术领域：
，涉及一种目标检测方法，尤其是涉及一种基于超参数优化的目标检测模型融合方法及融合系统。
背景技术：
：随着机器学习和计算机视觉技术的发展，人们对图像识别任务有了进一步的要求，除了要识别出图像中有何种物体，还需要知道每个物体在图像中的具体位置，进而引入了目标检测任务。目标检测任务，顾名思义就是要检测出图像中的目标，即框出目标在图像中的位置，并且给出其类别信息。在深度学习兴起以前，虽然学术界和工业界对目标检测都有所研究，但由于当时的方法精度都很低，检测速度也很慢，很难应用到实际的生产中，因而目标检测没有受到太广泛的关注。但是近几年，随着深度学习的兴起，尤其是在2012年，深度学习领军人物hinton及其学生alex成功地将深度神经网络应用到imagenet图像识别任务中后，目标检测任务迎来了井喷式的发展。目标检测任务，无论是在检测精度上，还是检测速度上，都比过去有了非常大的提升。近年来，学术界出现的目标检测方法非常多，其大致可以分为两类：一类是一阶段的目标检测方法，如ssd、yolo、retinanet等，另一类是两阶段的目标检测方法，如faster-rcnn、mask-rcnn等。一阶段目标检测方法由于所有的学习和推断都是端到端的，速度非常快；而两阶段目标检测方法由于可以对生成的候选框进行两次分类和边框回归，通常能达到较高的精度。由于现有目标检测方法在检测精度和速度上都有着较好的表现，其在工业界也受到了越来越广泛的关注，也有越来越多的个人和组织将其进行适配改造，应用到现实生活中的方方面面，如安防、新零售、无人驾驶、工业质检、医学诊断等领域。尽管如此，在很多领域中，目标检测算法的应用还存在一些问题，即单一的算法很难满足现实生产的要求。譬如在新零售领域，目标检测算法a在比较大的商品上表现很好，但是小商品上表现不好，而目标检测算法b则在小商品上表现较好，在大商品上表现平平；在无人驾驶领域，目标检测算法c能准确识别出前方出现的目标，但是其定位效果较差，而目标检测算法d能精确定位前方出现的目标，但是其容易错判目标的类别。虽然现有的特征融合方法和集成学习方法都能缓解单一算法无法满足精度要求的问题，但是特征融合方法很难利用不同目标检测方法的具体学习策略，因而难以比较大程度地发挥多个模型各自的优势；而传统集成学习比较适用于一般的分类任务，对目标检测这种需要同时兼顾类别、位置和预测分数的任务，比较难直接套用一种经典的集成学习方法来提升其效果。技术实现要素：本发明的目的在于克服上述现有技术存在的缺陷而提供一种提高目标检测精度的基于超参数优化的目标检测模型融合方法及融合系统。本发明的目的可以通过以下技术方案来实现：一种基于超参数优化的目标检测模型融合方法，包括以下步骤：1)采用至少两个目标检测模型对待测图片进行目标检测，获得至少两个初始预测结果；2)对所述初始预测结果进行非极大值抑制处理；3)利用预先获得的最优融合超参数对经步骤2)后的初始预测结果进行融合，获得最终预测结果，其中，最优融合超参数由局部随机搜索法优化得到。进一步地，在所述步骤2)的非极大值抑制处理中，对物体包围框进行过滤采用的阈值为0.05-0.15。进一步地，所述步骤3)中，若目标检测模型包括模型m1和m2，则对初始预测结果进行融合的方式具体为：计算两个预测结果中包围框的交并比，若交并比大于第一阈值，则判定各包围框检测出的物体属于同一个物体；若某个物体仅被m1预测出，则仅在该物体的预测分值大于第二阈值时，保留该物体，否则将该物体从预测结果中删除；若某个物体仅被m2预测出，则仅在该物体的预测分值大于第三阈值时，保留该物体，否则将该物体从预测结果中删除；在某个物体被m1和m2中同时预测出时，若该物体来自m1的预测结果，则在该物体的预测分值大于第四阈值，保留该物体，否则将该物体从预测结果中删除；若该物体来自m2的预测结果，则在该物体的预测分值大于第五阈值，保留该物体，否则将该物体从预测结果中删除；所述第一阈值、第二阈值、第三阈值、第四阈值和第五阈值为所述最优融合超参数。进一步地，所述采用局部随机搜索法来获得最优融合超参数的具体步骤为：101)在设定范围内随机获得一组超参数；102)利用各个所述目标检测模型在一已知检测真值的验证集上获得对应初始预测结果；103)利用所述超参数对各初始预测结果进行融合，获得最终预测结果；104)对验证集上的最终检测结果进行评价，获得检测精度；105)判断是否完成总搜索次数，若是，则以检测精度最高的一组超参数作为最优融合超参数，若否，则返回步骤101)。本发明还提供一种基于超参数优化的目标检测模型融合系统，包括：多个目标初检测模块，用于对待测图片进行目标检测，获得对应的初始预测结果；非极大值抑制模块，用于对多个目标初检测模块获得的所述初始预测结果进行非极大值抑制处理；融合模块，用于利用预先获得的最优融合超参数对经非极大值抑制处理后的初始预测结果进行融合，获得最终预测结果，其中，最优融合超参数由局部随机搜索法优化得到。进一步地，在所述非极大值抑制处理中，对物体包围框进行过滤采用的阈值为0.05-0.15。进一步地，所述融合模块中，若目标检测模型包括模型m1和m2，则对初始预测结果进行融合的方式具体为：计算两个预测结果中包围框的交并比，若交并比大于第一阈值，则判定各包围框检测出的物体属于同一个物体；若某个物体仅被m1预测出，则仅在该物体的预测分值大于第二阈值时，保留该物体，否则将该物体从预测结果中删除；若某个物体仅被m2预测出，则仅在该物体的预测分值大于第三阈值时，保留该物体，否则将该物体从预测结果中删除；在某个物体被m1和m2中同时预测出时，若该物体来自m1的预测结果，则在该物体的预测分值大于第四阈值，保留该物体，否则将该物体从预测结果中删除；若该物体来自m2的预测结果，则在该物体的预测分值大于第五阈值，保留该物体，否则将该物体从预测结果中删除；所述第一阈值、第二阈值、第三阈值、第四阈值和第五阈值为所述最优融合超参数。进一步地，所述采用局部随机搜索法来获得最优融合超参数的具体步骤为：101)在设定范围内随机获得一组超参数；102)利用各个所述目标检测模型在一已知检测真值的验证集上获得对应初始预测结果；103)利用所述超参数对各初始预测结果进行融合，获得最终预测结果；104)对验证集上的最终检测结果进行评价，获得检测精度；105)判断是否完成总搜索次数，若是，则以检测精度最高的一组超参数作为最优融合超参数，若否，则返回步骤101)。与现有技术相比，本发明具有如下有益效果：第一，本发明首次提出了目标检测的预测融合，可以有效利用多个目标检测模型各自的优势，来提高目标检测精度。第二，不同于一般的集成学习方法，本发明兼顾了类别、位置和预测分数等信息的融合。第三，本发明引入局部随机搜索法，对预测融合中的超参数进行优化，可以快速、有效地寻找到较好的融合参数，从而提高实际生产中的目标检测精度。附图说明图1为本发明的目标检测原理示意图；图2为本发明训练过程示意图；图3为本发明测试过程示意图。具体实施方式下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。本发明提供一种基于超参数优化的目标检测模型融合方法，以解决单一的目标检测算法难以满足现实生产要求的问题，包括以下步骤：1)采用至少两个目标检测模型对待测图片进行目标检测，获得至少两个初始预测结果；2)对所述初始预测结果进行非极大值抑制处理；3)利用预先获得的最优融合超参数对经步骤2)后的初始预测结果进行融合，获得最终预测结果，其中，采用局部随机搜索法优化获得最优融合超参数。本实施例以两个目标检测模型的预测融合为例来介绍该发明方法，该方法主要包含目标检测模型1、目标检测模型2和融合策略部分三个部分，结构如图1所示。步骤一，获取所有图像数据，并将其划分为训练集、验证集和测试集；步骤二，分别用训练集数据训练两个目标检测模型，记为m1和m2；步骤三，利用训练好的模型m1和m2，分别对验证集上的图片进行预测，得到初始预测结果。步骤四，对步骤三种得到的初始预测结果进行非极大值抑制(nms)，得到两个模型的最终预测结果。本实施例的nms操作和一般目标检测不同，一般目标检测在做nms之前会去除掉绝大部分预测分值低于某一阈值的包围框(bbox)，该阈值通常设置为0.5。本实施例中为了保留绝大部分的包围框，将阈值通常会设置成非常小的值，如0.1。进行完nms操作后，得到两个目标检测模型在验证集上的最终预测结果：和其中，为m1在验证集第i张图片上的预测结果，为m2在验证集第i张图片上的预测结果。预测结果中的x1,y1,x2,y2为物体包围框的位置信息，l为包围框中物体的类别信息，s为该包围框中该物体的预测分值。步骤五，利用预先获得的最优融合超参数对步骤四中得到的两个模型的预测结果进行融合。本实施例具有两个目标检测模型，超参数为5个，包括超参数t1,t2,t3,t4,t5。本实施例将5个超参数限定在一个经验局部范围，并确定总搜索次数n，采用局部随机搜索法进行优化，过程如下：(1)每次在该范围内随机出一组超参数t1,t2,t3,t4,t5；(2)遍历目标检测模型m1和m2在验证集所有图片上的预测结果，对每张图片(以第i张图片为例)，逐个计算中的包围框和中的包围框的交并比(iou)，若交并比大于阈值t1，则判定两个包围框检测出的物体属于同一个物体(即该物体同时被模型m1和m2检测到了)，反之，两个包围框检测出的物体不属于同一物体；(3)融合两个模型预测出的结果，得到最终检测结果。融合策略如下：若某个物体只有m1预测出了，m2没有预测到，则需要该物体的预测分值大于阈值t2，该物体才会被留下，否则从预测结果中删除；若某个物体只有m2预测出了，m1没有预测到，则需要该物体的预测分值大于阈值t3，该物体才会被留下，否则从预测结果中删除；若某个物体在n1和n2中都预测到了，则分两种情况，情况1：该物体来自n1的预测结果，则需要该物体的预测分值大于阈值t4，该物体才会被留下，否则从预测结果中删除，情况2：该物体来自m2的预测结果，则需要该物体的预测分值大于阈值t5，该物体才会被留下，否则从预测结果中删除。(4)对验证集上的最终检测结果进行评价，计算检测精度。(5)判断是否完成总搜索次数，如果没有，则依次执行(1)到(4)，如果已完成，则查找检测精度最高的那组超参数，记为：该超参数即为模型融合最优超参数。步骤六，利用模型m1和m2和最优融合参数对测试集上的图片执行目标检测，得到最终检测结果。本实施例在实际光伏组件缺陷检测场景做了实验。该数据集(非公开)共包含两类图片：正常图片(ok图片)和异常图片(ng图片)。其中训练集包含8419张ng图片和50000张ok图片(ok图片实际不参与训练)；验证集包含4288张图片(180张ng图片+4108张ok图片)；测试集包含8779张图片(390张ng图片+8389张ok图片)。这里我们采用工业质检行业比较通用的漏报率和误报率作为评价指标。其中漏报率＝ng图片被分为ok图片的数量/ng图片总数，误报率＝ok图片被分为ng图片的数量/ok图片总数。值得注意的是，由于某些图片包含的缺陷个数不止一个，本发明的评价指标统计原则如下：一张ng图片中只要有一个缺陷漏掉该图片就算漏报图片，一张ok图片中无论误报出几个缺陷该图片都算误报。实验中选取的目标检测模型为faster-rcnn和yolo，这里为了便于比较，本发明将每种方法的漏报率控制在一定范围，对比各方法得到的误报率。表1给出了两个模型单独作用时的检测效果以及利用本发明的方法作用的效果，从中可以看出本发明方法可以一致地得到比单个目标检测算法更好的检测效果。表1cifar-10数据集的实验数据方法漏报率误报率漏报率误报率faster-rcnn不超过1％8.5％不超过2％5.1％yolo不超过1％9.2％不超过2％4.5％预测融合法不超过1％5.5％不超过2％2.8％以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本
技术领域：
中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。当前第1页1 2 3