基于卷积神经网络的双源图像特征提取及融合识别方法与流程

本发明属于图像信号处理与模式识别领域，是一种基于卷积神经网络的双源图像特征提取及融合识别方法。

背景技术：

近二十年来，基于特征的目标识别分类技术成为图像信号处理与模式识别研究的热点，在军事和民用领域得到了广泛的应用。例如海上舰艇探测、海上救援、地面军事目标打击、嫌犯追踪等等。目前，单传感器的特征级目标识别分类技术已经相对成熟，单因为传感器自身的限制，其工作环境和适用对象相对单一，无法满足复杂环境中的应用需要。

可见光传感器的成像分辨率高，目标纹理细节丰富，边缘清晰，但容易受到光照条件的干扰，在强反射及光照不足时无法提供准确有效的信息。而热红外传感器成像虽然成像分辨率差，边缘易模糊，但不受光照情况影响，可满足无光照或有强光反射情况下的工作需要。将多源传感器图像进行融合识别，可以有效扩展复杂条件下多源图像目标识别的适用范围，并提高识别率。

目前在基于特征的多源传感器目标识别中，主要还依赖于人工提取图像特征，如图像的统计特征、边缘特征、纹理特征等等，常见的特征提取算法有：hu不变矩、lbp局部二值模式、glcm灰度共生矩阵、gabor特征等等。人工提取特征依赖于特征算法性能的优劣，想要选出兼具低冗余、高鲁棒、且低维度的特征相对困难。同时，单一的特征算法一般无法适用于不同成像机理的传感器图像，使用范围有限，目标识别率较低。

卷积神经网络(convolutionalneuralnetwork，cnn)作为深度学习的一种重要模型，近年来在文字、语音、图像识别等领域获得了出色的成绩。利用卷积神经网络的迁移学习特征，通过庞大的可见光数据集对模型进行训练学习，可以有效的提取出了图像隐藏特征，无需关心特征的具体形式，即达到很高的识别率。卷积神经网络模型结构主要包括卷积层、池化层和全连接层，采用局部连接和权值共享，降低了网络模型的复杂度。

利用优化好参数的神经网络模型，分别对可见光及热红外图像提取隐含特征，利用fisher判别准则结合主成分分析方法对数据进行融合降维，相比于传统的特征串联、并联方法，可以在保证目标识别率的前提下大幅减少特征维度，提高算法效率。

技术实现要素：

针对传统无人机单一传感器源目标识别受环境因素影响较大的问题，为了提高识别效率，扩展适用场景范围，本发明提出一种基于卷积神经网络的双源图像特征提取及融合识别方法，解决无人机平台中利用单源传感器进行目标识别易受光照条件干扰，且对目标的变换敏感，分类识别率较低的问题，为未来无人机对地、对海进行目标探测与跟踪识别提供了一条新途径。

本发明公开了一种基于卷积神经网络的双源图像特征提取及融合识别方法，包括以下步骤：

1.建立多类目标的可见光、热红外两种成像传感器源的图像数据库，每个库包括相互对的l类目标，每类目标的样本数为n，总样本数为n＝nl；

2.搭建深层卷积神经网络模型，模型结构依次为图像输入层、卷积层、池化层、丢弃层、全连接层和输出层，其中卷积层与池化层需要组合使用并需多次重复；

3.利用卷积神经网络的迁移学习特性，对搭建好的深层卷积神经网络进行训练，得到最优解的各层网络参数并保存模型；

4.对于数据库中的每个样本，分别将其可见光、热红外成像传感器源对应的图像作为输入送入训练好的深层卷积神经网络模型中计算；利用多层卷积自动提取输入图像的隐藏特征，可表示为矩阵形式ivis/ir＝[m，m，m]，其中vis/ir分表表示可见光及热红外成像源图像样本，[m，m]表示卷积输出窗口结果，m表示叠加的卷积核的数量；

5.对每个样本提取到的特征矩阵ivis/ir进行降采样处理：令mmax＝max(m，m)，则三维特征矩阵[m，m，m]降采样到m维的特征向量，表示为i′vis/ir＝[mmax1，…，mmaxs，]；

6.对双源数据库中的n个样本，构造两个n*m大小的二维特征矩阵avis，air：

其中，矩阵元素分别是可见光、热红外数据库中属于第i类目标的第j个样本特征向量，i＝1，2，...，l，j＝1，2，...，n；

7.将二维特征矩阵avis，air进行串联融合，得到包含可见光与热红外图像隐藏特征的新特征矩阵fn，2*m＝[avis，air]；

8.通过fisher判别函数：

式中，i为特征分量编号；k为目标所属类型，k＝1，2，...，l，l为目标类别总数；xi^(k)为类型k的单个样本的第i维特征；wk为类型为k的样本集合；mi^(k)为类型为k的所有样本第i维特征的均值；ni为所有类型样本的第i维特征的总数；mi为所有类型样本的第i维特征的均值；ni^(k)为类型为k的所有样本的第i维特征的个数；

求特征矩阵fn，2*m每一维特征的fisher判别函数值jf(i)，令判别阈值q＝mean(jf)，保留特征矩阵fn，2*m中jf(i)大于q的当前维度特征，剔除小于阈值的特征，得到筛选后的特征矩阵f′n，t，t维筛选过后的特征维度；

9.提取筛选过后的特征矩阵f′的主成分特征：首先求得训练样本特征集合的协方差矩阵f′f′^t，对f′f′^t进行特征值分解，取出最大的n′个特征值对应的特征向量(w1，w2，...，wn′)，将所有的特征向量标准化后，组成特征向量矩阵w，训练样本集中的每个样本的特征转化为同理，测试集表示为分别表示训练和测试样本个数；

10.将融合降维后的训练数据ztrain和测试ztest数据送入svm分类器中进行识别。

进一步的，步骤1所述的数据库是基于无人机平台下同视角的可见光及热红外传感器拍摄的多类目标图片。

进一步的，可见光和热红外多类目标图片是相互配准的。

进一步的，步骤2所述的卷积神经网络模型结构具有16层结构，其中卷积层13层，全连接层3层。

进一步的，卷积神经网络模型采用梯度下降法和反向传播算法训练各层的网络参数。

进一步的，步骤4所述的提取输入图像的隐藏特征是截取深层卷积神经网络模型中最后一层池化层结果作为图像特征。

进一步的，步骤5中的降采样是利用最大值代替原有数据的降采样方法。

进一步的，步骤8所述的判别阈值为特征矩阵f的费希尔判别分数的平均值。

有益效果：本发明针对可见光及热红外多源传感器图像目标分类识别进行了研究，利用数量级庞大的可见光数据库训练的深层卷积神经网络模型分别提取目标可见光和热红外图像隐藏特征，利用降采样方法降低特征维度，并采用fisher判别函数与主成分分析算法相结合进行特征融合，最后在svm支持向量机分类器中进行识别分类。实验显示，基于卷积神经网络的的可见光与热红外图像特征提取及融合方法在自建的无人机对地目标可光学/热红外数据库上的识别率达到95％，比单一传感器源图像的识别率提高了10％以上。与传统的人工提取特征算法，如hu不变矩、glcm灰度共生矩阵、gabor特征方法进行比较，该方法也有明显提高，说明将卷积神经网络用于可见光与热红外图像特征提取是可行的且效果良好，将fisher判别函数与主成分分析算法相结合进行特征融合是简单有效的。

附图说明

图1为本发明的流程图；

图2为本发明的深度卷积神经网络模型的结构示意图；

图3为自建的无人机对地目标的可见光与热红外成像数据库中的部分目标图像。

具体实施方式

下面结合附图和实施例进一步阐述本发明。

如图1所示的一种基于卷积神经网络的双源图像特征提取及融合识别方法，包括以下步骤：

步骤一：建立多类目标的可见光、热红外两种成像传感器源的图像数据库，每个库包含相互对应的l类目标，每类目标的样本数为n，总样本数为n＝nl。在自建数据库中有15类目标，每类目标样本数为375张，总样本数为5625张。

步骤二：搭建深层卷积神经网络模型，模型结构依次为图像输入层(inputlayer)、卷积层(convolutionlayer)共13层、池化层(poolinglayer)共5层、丢弃层(dropoutlayer)、全连接层(denselayer)共3层、以及输出层(outputlayer)，其中卷积层与池化层需要组合使用并需多次重复，每层网络均具有不同的参数值。模型使用梯度下降法和反向传播算法训练各层的网络参数。

步骤三：利用卷积神经网络的迁移学习特性，通过大量的可见光数据集，如imagenet训练搭建好的深层卷积神经网络，得到最优解的各层网络参数并保存模型；

步骤四：对于数据库中的每个样本，分别将其可见光、热红外成像传感器源对应的图像作为输入送入训练好的深层卷积神经网络模型中计算。截取网络中最后一层池化层的结果作为该样本的特征矩阵，表示为ivis/ir＝[m，m，m]，其中vis/ir分别表示可见光及热红外成像源图像样本，[m，m]表示池化层输出结果，m表示卷积核的数量；

步骤五：对每个样本提取到的特征矩阵ivis/ir进行降采样处理：令mmax＝max(m，m)，即对m*m大小的卷积结果窗取最大值，则三维特征矩阵[m，m，m]降采样到m维的特征向量，表示为i′vis/ir＝[mmax1，…，mmaxs，]；

步骤六：对双源数据库中的n个样本，构造两个n*m大小的二维特征矩阵avis，air：

其中，矩阵元素分别是可见光、热红外数据库中属于第i类目标的第j个样本特征向量，i＝1，2，...，l，j＝1，2，...，n；

步骤七：将双源图像特征矩阵avis，air进行串联融合，得到包含可见光与热红外图像隐藏特征的新特征矩阵fn，2*m＝[avis，air]；

步骤八：通过fisher判别函数：

式中，i为特征分量编号；k为目标所属类型，k＝1，2，...，l，l为目标类别总数；xi(k)为类型k的单个样本的第i维特征；wk为类型为k的样本集合；mi^(k)为类型为k的所有样本第i维特征的均值；ni为所有类型样本的第i维特征的总数；mi为所有类型样本的第i维特征的均值；ni^(k)为类型为k的所有样本的第i维特征的个数。

求特征矩阵f每一维特征的fisher判别函数值jf(i)，令判别阈值q＝mean(jf)，保留特征矩阵f中jf(i)大于q的当前维度特征，剔除小于阈值的特征，得到筛选后的特征矩阵f′n，t，t维筛选过后的特征维度。

步骤九：提取筛选过后的特征矩阵f′的主成分特征。首先求得训练样本特征集合的协方差矩阵f′f′^t，对f′f′^t进行特征值分解，取出最大的n′个特征值对应的特征向量(w1，w2，...，wn′)，将所有的特征向量标准化后，组成特征向量矩阵w。训练样本集中的每个样本的特征转化同理，测试集表示为分别表示训练和测试样本个数。

步骤十：最后，将融合降维后的训练数据ztrain和测试ztest数据送入svm分类器中进行识别。其中svm分类器选用的rbf核函数，设置参数c和g的范围均为-5～5，每次增量均为0.5，采取遍历所有取值的方法求得最佳参数c和g；在最佳参数下，输入所需数据训练整个训练集，得到支持向量机模型，分析图像目标识别率。