基于SVM模型参数优化的多模态数据融合和分类方法与流程

本发明提供基于svm模型参数优化的多模态数据融合和分类方法，尤其涉及利用基于混合函数的svm模型实现对多模态融合数据的分类，完成对飞机蒙皮缺陷类型的自动识别技术。

背景技术：

飞机，舰船等大型设备或部件的结构受到破坏，主要原因是结构中存在裂纹，腐蚀等缺陷而未被及时发现，一次随机出现的高承载使这种带缺陷的结构不能承受而发生断裂引起的，这种结构的破坏，往往引起灾难性的后果。利用无损检测技术尽早发现结构缺陷是保证飞机等大型设备安全的重要手段。

飞机蒙皮是飞机最重要的组成部分之一，用来维持飞机外形，使之具有很好的空气动力特性。蒙皮承受空气动力作用后将作用力传递到相连的机身机翼骨架上，受力复杂，加之蒙皮直接与外界接触，所以不仅要求蒙皮材料强度高、塑性好，还要求表面光滑，有较高的抗蚀能力。因此为了保障飞机蒙皮的可靠性和安全性，必须对飞机蒙皮进行有效的故障检测和诊断，以便及时发现故障，并进行有效处理。

之前，我们已经解决了利用图像测量技术采集测量飞机蒙皮缺陷，以及提取蒙皮表面缺陷的物理测量特征的问题，但由于采集数据过于复杂，包括裂纹长度，腐蚀面积等各类特征，如何把复杂数据融合并提取出关键有效信息，用于表征飞机蒙皮健康状况，就成了亟待解决的问题。

目前，飞机蒙皮的故障诊断方法从基于信号分析方法向基于人工智能的方法迅速发展。多模态数据融合也称作信息融合，是把多个传感器在空间或时间上的冗余或互补信息，依据某种准则进行组合，以获得对被检测目标的一致性解释或描述。支持向量机svm(supportvectormachine)作为结构风险最小化的机器训练和模式识别方法，在样本非线性和高维模式识别方面有独特优势，具有直观的几何解释和良好的泛化能力，已经成功应用于分类、模式识别等问题，如机械故障诊断、图像识别等。

多模态感知数据是指感知设备产生的原始数据信息包含监测对象的多维特征属性信息。如在空气质量监测中，通过利用无线传感器网络对所监测区域的温度，干湿度，含氧量，悬浮物，等多维空气特征信息进行采集，进而根据这些数据评价空气质量水平。该无线传感器网络得到的这些数据即为多模态感知数据。

多模态数据融合的概念是在上世纪70年代被提出的，最早诞生于军事领域。随着科学技术，尤其是微电子、集成电路、计算机、信号处理以及传感器技术的发展，多模态数据融合已经发展成为了多学科综合的全新领域，慢慢的从军用领域延伸到了民用领域，并在民用领域中飞速发展。现如今，人们已提出了各种各样的数据融合方法，其中包括基于证据理论的方法、fisher判别法、基于模糊理论的方法、极大似然法以及可拓方法等等。多模态数据融合可提高测量的可信度，使系统具有更高的可靠性，同时适用于多种不同的环境，在恶劣条件下同样可以保证正常工作的要求。单类传感器只能获得被测物体的不完备的信息，并且受环境的影响很大，稳定性不强，多模态信息融合能够将多种传感器提供的数据信息进行组合，保留有用信息，剔除错误信息，并通过冗余信息来保证系统的可靠性，以实现最终的信息优化。

多模态系统在信息获取过程中会得到三类信息：(1)冗余信息：冗余信息是由多种传感器对客观事物的某一特征提供的多个重复信息，它可以提高系统的可靠性；(2)互补信息：互补信息是指由多种传感器观测到的相互独立的外界特征信息，它可以扩展系统的性能；(3)协同信息：协同信息是指单一传感器无法获得，必须依靠多种传感器协同作用才能获得的信息，它可以进一步扩大系统的控制范围。目前，常见的多模态数据融合方法包括：综合平均法，贝叶斯估计法，neyman-pearson准则法，d-s法以及模糊逻辑法。

技术实现要素：

有鉴于此，本发明的目的在于提出基于svm模型参数优化的多模态数据融合和分类方法，针对飞机蒙皮表面缺陷开展图像监测和识别，以实现非接触、无破坏的精确测量，多模态测量数据进行融合、提前并加以分类，自动识别缺陷类型，为实现飞机精确化管理提供一条新途径。

基于上述目的，本发明提供的基于svm模型参数优化的多模态数据融合和分类方法，其特征在于，包括以下步骤：

s1，利用卷积神经网络以及多视角图像测量，完成对缺陷数据的提取和预处理；

s2，采用多模态数据融合管理中心，把采集到的缺陷特征数据融合起来，用于后续的分类识别；待融合数据一部分是基于cnn在灰色图像中学习到的深度特征，另一部分为基于多视角对缺陷的物理测量特征；

s3，优化选择svm模型子分类器权重系数，针对各个模态突出的差异信息不同，选择不同的特征信息和支持向量，聚焦错分数据点，得到多模态加权组合的svm分类器模型；

s4，利用混合函数svm分类器对融合缺陷数据进行分类，最终得到分类结果。

优选地，所述多模态数据融合管理中心的主要功能包括：

a、融合系统管理中心，它是整个系统的控制中心，实现对图像融合的各个层次进行协调管理，它的功能包括:控制传感器的工作模式、控制系统的输入输出、控制像素级融合中心的工作状态、控制决策级融合中心的工作状态、协调各个功能单元；

b.像素级融合中心，像素级融合中心是在系统需要的情况下，对象索级的融合进行控制，具体控制过程为：首先对输入图像源进行预处理；然后对图像进行配准以及控制像素级融合过程中的各种参数，包括：融合方法、融合规则、多分辨率分解的级数；

c.特征提取、目标识别环节，特征提取按照单一传感器模式下的方式进行，它决定目标识别能否取得理想效果，特征提取的结果将首先进行单一传感器的目标识别，获得一个决策结果，然后送到决策级融合中心进行融合处理，得出融合后的识别结果；

d.决策级融合中心，决策级融合中心是调用适当的目标识别融合法，对目标作出评估和识别，并将处理结果输出到融合系统管理中心，具体包括：对图像特征进行提取以及选择合适的目标识别融合法。

优选地，所述合适的目标识别融合法为基于距离测量法的数据融合和特征评价方法，该方法利用各类样本分别处于特征空间的不同区域，通过计算样本集的类内与类间距离对样本进行评价，区域间的距离越大，同时类内距离越小，说明样本集的可分性就越大。

优选地，所述优化选择svm模型子分类器权重系数采用遗传算法来实现。

本发明的有益效果在于：(1)设计了数据融合系统结构体系，提出了基于距离测量法的数据融合和特征评价方法，实现了对cnn数据和多视角物理测量数据的有机融合和降维。

(2)利用基于混合函数的svm模型实现对多模态融合数据的分类，完成对飞机蒙皮缺陷类型的自动识别。

附图说明

图1为飞机蒙皮表面多模态数据融合和svm分类关键技术途径；

图2为两种图像传感器融合、目标识别的功能框图。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

本方法研究针对飞机蒙皮缺陷分类识别，综合运用数字图像处理、特征提取、数据融合以及svm分类技术，提出了自动化的飞机蒙皮表面缺陷分类识别方法。该方法主要分为两个步骤：首先，采用多模态数据融合技术，把采集到的缺陷特征数据融合起来，用于后续的分类识别。待融合数据一部分是基于cnn在灰色图像中学习到的深度特征，另一部分为基于多视角对缺陷的物理测量特征。然后，优化选择svm模型子分类器权重系数，针对各个模态突出的差异信息不同，选择的特征信息和支持向量各有侧重，重点聚焦错分数据点，得到多模态加权组合的svm分类器模型，增强分类性能，完成对不同缺陷类型的区分。

关键技术途径如图1所示。首先，利用卷积神经网络以及多视角图像测量，完成对缺陷数据的提取和预处理；然后利用多模态数据融合技术，将不同类型缺陷数据有机融合；接着利用混合函数svm分类器对融合缺陷数据进行分类，最终得到分类结果。

以针对两种图像传感器进行数据融合、目标识别的情况进行结构设计为例，融合系统的结构如图2所示：

系统各部分的功能介绍如下：

1.融合系统管理中心：它是整个系统的控制中心，对图像融合的各个层次进行协调管理，它的主要功能有：

(1)控制传感器的工作模式

融合系统的突出特点是改变以往的单模方式，而采用多模方式。多模方式就是利用各模的不同长处合理搭配，共同引导制导武器。按照它们的搭配方式不同，可分为同控式和转换式。所谓同控式就是两种或两种以上的导引头同时控制一个受控对象，而切换式则是根据实际场景由导引头控制。而融合系统管理中心的主要任务就是管理传感器的工作模式，使得系统可以适应场景的变化。

(2)控制系统的输入输出

系统的实际输入源是两路图像输入，如果进行图像的像素级融合处理，就可以同时得到三路图像(像素级融合中心输出图像也作为一路图像)。因而，它可以根据实际场景的变化决定输出图像源。尤其是作为无人飞机等的地面控制中心而言，这个功能显得尤为重要。除此之外，融合管理中心还控制决策级融合中心输出的目标识别结果。

(3)控制像素级融合中心的工作状态

根据实际需要，确定是否进行图像配准、像素级融合的工作，以及在进行特征提取、目标识别的过程中，是否对融合后的图像进行与单传感器图像相同的操作；

(4)控制决策级融合中心的工作状态

根据实际的要求，确定决策级融合中心采取的融合策略，使得系统可以增加目标识别概率，减少虚警概率。

(5)协调各个功能单元

融合系统的各个环节是彼此衔接的，从传感器输入图像开始，到图像预处理、图像配准、像素级融合以及特征提取、目标识别等，都至关重要，这需要各个环节彼此协调，才能保证系统正常工作。

2.像素级融合中心

像素级融合中心是在系统需要的情况下，对象索级的融合进行控制。包括：

(1)对输入图像源进行预处理；

(2)在必要的情况下，对图像进行配准；

(3)控制像素级融合过程中的各种参数，包括：融合方法、融合规则、多分辨率分解的级数等；

3.特征提取、目标识别环节

特征提取可以按照单一传感器模式下的方式进行，它决定目标识别能否取得理想效果。特征提取的结果将首先进行单一传感器的目标识别，获得一个决策结果，然后送到决策级融合中心进行融合处理，得出融合后的识别结果。

4.决策级融合中心

决策级融合中心是调用适当的目标识别融合算法，对目标作出合理的评估和识别，并将处理结果输出到融合系统管理中一山。包括：

(1)根据实际的场景需要，对图像特征进行提取：

(2)选择合适的目标识别融合算法。

在图像数据融合阶段，主要包括像素级融合、特征级融合和决策级融合，其中特征级融合相对于像素级融合可实现一定的信息压缩，利于实时处理；同时相对于决策级融合，可以保留相对更多的图像信息。在基于cnn的深度特征提取和基于多视角测量的特征提取中分别得到飞机蒙皮图像的16维cnn特征和14个多视角测量特征值其中多视角的物理测量特征反映出飞机蒙皮图像灰度关于方向、相邻间隔、变化幅度的综合信息，在图像识别方面具有广泛的应用，但多视角测量特征通常基于空域图像，对图像纹理和频域特征的描述不够细致，尤其是对图像的中高频部分。基于cnn提取的飞机蒙皮深度特征正好能对图像的高频部分进行描述，卷积神经网络相对于传统小波分析、傅里叶变换方法的优势就是可以对频带进行多层次划分，能对多分辨率分析没有细分的高频部分进一步分解。所以将两类特征相结合，可以更好的描述图像的细节，有利于缺陷图像的分类。

如果采用简单的将两组特征首尾相连将得到一个30维的特征向量。但这个30维的特征向量中各分量对于识别的贡献各不相同，同时30维特征向量运算时间长，不利于算法的实时性。本实施例中采用基于距离测量法的特征判据对上述得到的30维的特征向量进行特征评价，在此基础上实现特征降维与融合。

基于距离测量法的特征判据通过计算样本集的类内与类间距离对样本集进行评价。各类样本分别处于特征空间的不同区域，这些区域之间的距离(类间距离)越大，同时类内距离越小，则说明样本集的可分性就越大，分类过程中产生错分的情况就越少。

设待分类样本集{xi,i＝1,2,…,n}，在实施例中xi为30维飞机蒙皮损伤图像特征向量，设这些样本集分别属于c类，其中：ωj类含nj个样本，各样本在分类后记为

ωj的类内离散矩阵可表示为：

式中：mj为ωj类的样本集的均值向量：

总的类内离散矩阵表达式如下

类间离散矩阵表达式如下

式中：m为所有待分类样本集的均值向量

sw和sb从类内和类间两个方面分别反映样本集的离散程度，二者取值由样本集中各样本的分布和类的划分方式共同决定。同时，设λ1,λ2,…λ30是的特征值，在非奇异线性变换下，它们是不变量，同时它们反映了样本集类间离差与类内离差在特征向量方向上的比值越小，样本的可分性越差，反之样本的可分性越好，所以实施例中令飞机蒙皮损伤图像的每维分量的区分度为ji，同时,ji＝λi,(i＝1,2,…,30)。

支持向量机svm具有出色的学习性能，但是在推广到多类分类问题时，存在一些混分和漏分样本的问题。针对支持向量机的这个问题，模糊支持向量机引入模糊隶属度的概念，根据不同样本对决策函数的学习的不同贡献，对每一个样本都赋予一个模糊隶属度值，从而减少外部的影响，提高分类精度。本发明方法应用基于模糊混合函数的支持向量机对飞机蒙皮缺陷图像进行分类识别。

对于svm训练算法，主要有两种思路：

(1)逐增。以vapnik的“选块(chunking)”算法为代表。将任意一个子集或者“块”作为初始工作集，应用标准优化算法求解二次规划问题，丢弃为零的拉格朗日乘子所对应的样本点，并不断将一定数量违反kkt条件的样本点加入工作集，直至求解完整的二次规划问题。

(2)分解。以osuna算法和序贯最小优化(sequentialminimaloptimization，smo)算法为代表。将大型二次规划问题分解为一系列小的二次规划问题，其工作集是固定的，每次更新一定数量的拉格朗日乘子，并将工作集的样本点与违反kkt条件的样本点进行等量交换，直到满足最优化条件。

smo算法容易实现，运算速度快，需要储存空间小，是svm训练算法中应用较广的算法。基于smo算法开发设计了一个操作简单、易于使用、快速有效的通用svm软件包libsv。实施例中的仿真实例便是在matlab环境下结合libsvm完成的。

为了提高svm的收敛速度以及预测精度，在训练之前需要对svm模型中的惩罚参数c、核函数参数γ和不敏感损失参数ε进行设定。在svm模型中，参数c起着调和最大化间隔与最小化训练错误两个目标的作用，较大的c值强调较小的训练错误。但c值本身没有确切的含义，c值的选取比较困难。核函数在svr中起重要作用，使用核函数，可以避免定义复杂的特征空间，仅仅通过定义一个核函数来隐式地定义特征空间，从而在求解对偶问题中彻底避开特征空间。核函数的形式及其参数的确定决定了分类器类型和复杂程度。svm直观的几何解释，引入ε-带概念，即对于ε>0，一个超平面z＝<w·x>+b沿y轴依次上下平移ε所扫过的区域。ε-带的实质是对于回归函数f(x)的不敏感损失函数，即样本点距离回归超平面z＝<w·x＞+b的距离小于ε时，认为没有损失，否则损失函数为：c(x,z,f(x))＝max{0,|z-f(x)|-ε}。

为了得到比较理想的预测结果，有效避免过学习和欠学习状态的发生，我们需要合理的选择参数。本实施例利用遗传算法，结合svm模型对三个参数进行自动选取。遗传算法(ga，geneticalgorithm)是一类借鉴生物界的进化规律演化而来的随机化搜索方法。其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需要确定的规则。

本实施例中利用遗传算法的良好性质，对svm模型中的最优参数进行搜索。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。