一种基于联合优化的快照式光谱成像方法和系统

1.本发明涉及一种能够获取高质量高光谱图像的方法，具体涉及一种基于联合优化的快照式光谱成像方法和系统，属于计算机光谱成像技术领域。


背景技术：

2.高光谱成像是一种分析大量窄波段的影像数据技术，其结合了成像和光谱两大技术。利用该技术采集得到的数据立方体，即为高光谱图像，照射到每个像素的光被分解为许多不同的光谱带，而不仅仅是为每个像素分配三原色。通常，人眼看到的可见光颜色主要分为三个波段：长波感知为红色，中波长感知为绿色，短波感知为蓝色。但光谱成像将光谱划分为更多波段，包含目标场景的二维空间信息和一维光谱信息。高光谱图像丰富的光谱细节能够反映场景的光照和材料信息，因此，该技术被广泛应用在食品安全、医学诊断、航天领域等领域。
3.根据成像手段，目前的光谱成像系统可分为两类：扫描式和快照式。其中，扫描式光谱成像技术根据光谱和空间维度进行采样，且要求场景是静态的，直至完全采集到数据立方体。早期的扫描式光谱成像技术，每次对一个波段进行采样，或一次对所有波段的一行像素进行空间采样；后期出现了空间光谱线扫描装置，该装置包括一个放置在狭缝光谱仪后面的相机和一个色散元件，通过在与采集的行正交的方向上单独移动场景、相机或狭缝来采集完整的高光谱图像。但是，上述不断发展的扫描式光谱成像系统需要对场景进行空间或光谱扫描，因此此类设备通常较为复杂且成像时间长，限制了其在高速捕捉动态场景方面的应用。
4.为了克服扫描式光谱成像系统的缺点，近年来，出现了一种新型的光谱成像系统，采用快照式光谱成像技术。快照式光谱成像系统配备了多光谱滤波阵列和光谱响应函数，获取不同波长的区域图像，能够瞬间生成马赛克图像，再搭配后端的去马赛克算法，极大地减少了扫描式成像设备的时间成本。通过快照获取的马赛克图像的每个像素仅有一个波段的信息，其光谱信息通过光谱响应函数集成到多个波段中，并且所有波段中只有一个光谱值由多光谱滤波阵列记录在每个像素位置。
5.由于多光谱滤波阵列的空间采样，需要空间去马赛克算法来恢复丢失的空间信息。然而，空间去马赛克算法仅解决了空间欠采样问题，只能恢复有限数量的波段。为了完全重构出具有高空间和光谱分辨率的高光谱图像，还需要使用光谱超分辨率算法，对具有一组更精细波段的粗高光谱图像进行光谱重投影。空间去马赛克和光谱超分辨率在计算相机中作为软件解码器工作，然而，它们传统上是以独立和顺序的方式处理，这导致了错误累积和次优重建。
6.除此之外，由brauers和aach提出的较为主流的空间去马赛克方法，均在给定的多光谱滤波阵列下进行高光谱图像重建。对于光谱超分辨率方法，绝大多数研究也是在给定的光谱响应函数下进行光谱重建。gharbi指出，硬件端的多光谱滤波阵列和光谱响应函数可以分别从空间域和光谱域对恢复出来的高光谱图像质量产生较大影响。
7.为了优化空间多光谱滤波阵列，一些传统的空间去马赛克方法在miao提出的光谱一致性和空间均匀性这两大标准下设计了各种多光谱滤波阵列的排布方式。此外，为了优化光谱响应函数，arad传统的光谱超分辨率方法采用进化优化方法来选择最优的光谱响应。最近，深度学习方法联合优化了从自然图像中选择光谱响应函数和重建高光谱图像这两个过程。然而，空间多光谱滤波阵列的排布模式和光谱响应函数的分布模式总是在空间和光谱域分别进行优化，这可能导致次优解。


技术实现要素：

8.本发明的目的是针对现有技术存在的分离空间去马赛克和光谱超分辨率这两个过程的问题，且极少研究空间多光谱滤波阵列和光谱响应函数的排布模式等不足，为实现包括联合优化多光谱滤波阵列和光谱响应函数、联合空间去马赛克和光谱超分辨率，以及高光谱图像重建等，创造性地提出一种基于联合优化的快照式光谱成像方法和系统。
9.为达到以上目的，本发明采用以下技术方案。
10.在训练阶段，首先构建高光谱图像训练数据集；从训练数据集中随机选取若干高光谱图像输入联合优化网络模型，模型对每张高光谱图像进行马赛克化得到马赛克图像，再通过空间去马赛克和光谱超分辨率方法，生成模型重构的高光谱图像；然后，将重构的高光谱图像与真实的高光谱图像进行对比，计算其损失函数并迭代更新模型中的参数，直到满足预设条件后停止训练；
11.在使用阶段，利用训练阶段得到的模型参数，根据联合优化网络生成高光谱图像并进行储存，如果存在重构高光谱图像对应的真实高光谱图像，将两者进行对比评估，并判断网络模型的效果优劣。
12.一种基于联合优化的快照式光谱成像方法，包括以下步骤：
13.步骤1：训练阶段。制作高光谱图像训练数据集，迭代修改算法模型的参数字典。
14.具体地，步骤1包括以下步骤：
15.步骤1.1：对高光谱图像数据集进行预处理(包括图像增强、裁剪)，生成训练数据集。
16.具体方法如下：
17.下载mat格式的公开高光谱图像数据集，对每张高光谱图像保留通道数，在空间维度进行裁剪，得到64
×
64空间分辨率的高光谱图像块。每个高光谱图像块作为一个训练样本，将所有块视作训练数据。
18.步骤1.2：设计多光谱滤波阵列和光谱响应函数。两者的参数可学习，目的是将对硬件端的多光谱滤波阵列和光谱响应函数进行联合优化，使软硬件能够相互约束。
19.首先，对多光谱响应函数进行优化。为了将最优空间信息引入高光谱成像过程，设计一个可学习的光谱响应函数曲线。最后，将两者一起伴随网络迭代，从而进行相关参数的更新。
20.对于多光谱滤波阵列的空间排布优化，本发明将其实现为一个可训练的物理二进制掩码。其中，多光谱滤波阵列f视作一个0-1向量，它能够产生严重的空间欠采样，用于模拟快照式光谱成像系统采集马赛克图像的过程。本发明选择4
×
4的阵列大小，通过平铺多光谱滤波阵列，直至铺满整张训练样本来获得相应的传感器测量值。
21.在设计多光谱滤波阵列过程中，需要进一步考虑其所受物理约束，确保其能够被制造出来。为此，可以对多光谱滤波阵列使用含温度系数的softmax操作，在softmax函数的作用下，每个像素沿光谱的较大值将逐渐占主导地位，使学习到的多光谱滤波阵列变成0-1向量。
22.由于空间排布学习仅仅在空间维度上优化了高光谱图像的采集模式，为了在空间和光谱维度上同时优化采集模式，本发明进一步引入空间光谱联合优化层。具体地，从候选光谱响应函数集合中为多光谱滤波阵列的每个空间位置选择最佳的光谱响应，或者通过网络本身直接设计最佳空间光排布。
23.根据马赛克图像与高光谱图像之间的线性关系，马赛克图像y的每个空间位置可以解释为高光谱图像沿光谱维度的加权和，不同的空间位置具有不同的权重。在空间光谱模式优化中，应用以下两个约束：首先，由于模拟的马赛克图像的每个像素值应该是正数，所以学习排布模式中的所有值都是非负的；其次，光谱维度的排布需要平滑，以促进滤波器的实现。由此实现了强制网络学习非负且平滑的空间光谱排布模式。
24.步骤1.3：高光谱图像重建网络模型根据输入的高光谱图像，在模型内先进行马赛克化，再进行重构，最终产生一组多光谱滤波阵列掩膜和光谱响应函数的排布方式，以及一份重构的高光谱图像。然后，将重构的高光谱图像与真实的高光谱图像进行对比，计算其损失函数并据此更新模型中的参数。
25.具体方法如下：
26.首先，从训练数据集中随机选取若干高光谱图像(如选取16张)输入联合优化网络模型。模型对每张高光谱图像进行马赛克化得到马赛克图像，再通过空间去马赛克和光谱超分辨率方法，生成模型重构的高光谱图像。
27.其中，联合优化网络模型包括深度先验正则化与卷积神经网络。
28.由于从马赛克图像y中恢复原始高光谱图像x是一个逆问题，因此需要各种先验知识。本发明将优化算法展开为卷积神经网络。在本发明中，不是训练单个卷积神经网络，而是使用一系列卷积神经网络，将测量值映射到所需信号域。这种深度展开框架提高了所提出模型的灵活性和可解释性。
29.在深度先验正则化中，遵循模仿先验正则化优化结构，并将迭代展开到深度网络。因为变换矩阵a与多光谱滤波阵列和光谱响应函数高度相关，可近似表示马赛克图像y与底层高光谱图像之间的关系。然而，高光谱图像重建问题是一个逆问题，采用正则化先验来最小化问题公式是可行的。然而，如果正则化项是不可微的，求解该问题公式则极为困难。通常的做法是将根据退化模型约束解的数据保真项和确保重构的与高光谱图像先验的正则化项进行解耦，常用的优化方法是交替方向乘子算法。
30.在卷积神经网络中，由于变换矩阵a与重构网络中的参数同时学习，每次迭代都需要变换矩阵a的参与，使得优化过程更加困难。为解决这个问题，本发明采用一个由卷积层和激活函数组成的简单神经网络替换变换矩阵a。
31.综上，本发明实现了对多光谱滤波阵列、光谱响应函数的排布和空间去马赛克、光谱超分辨率的联合设计表示为自动编码器的训练。给定一组训练高光谱图像，硬件编码过程包括投影相应的输入空间和光谱信息在可训练的多光谱滤波阵列和光谱响应函数的控制下，这种投影生成单通道马赛克图像y，用作解码(空间和光谱重建)步骤的输入。在软件
解码器采用深度展开网络同时进行空间去马赛克和光谱超分辨率，并重建高空间和光谱分辨率的高光谱图像。
32.步骤1.4：重复步骤1.3，直到满足设定的终止条件后，将网络的结构与模型参数进行保存。
33.在训练阶段，不断重复向模型输入高光谱图像，并根据损失函数动态调整模型中的参数，直到满足预设条件(如：训练轮次达到设定量或某个评估指标优于预设值)后，训练过程停止，并将模型参数进行储存。
34.步骤2：使用阶段。
35.利用步骤1训练阶段得到的模型参数，根据联合优化网络生成高光谱图像并进行储存。如果存在重构高光谱图像对应的真实高光谱图像，将两者进行对比评估，并判断网络模型的效果优劣。
36.进一步地，为了有效实施上述方法，本发明提出了一种基于联合优化的快照式光谱成像系统，包括硬件编码子系统、软件解码子系统和推理子系统。
37.其中，硬件编码子系统用于联合优化多光谱滤波阵列和光谱响应函数的排布方式，得到在硬件编码子系统下的马赛克图像。
38.软件解码子系统用于联合优化空间去马赛克和光谱超分辨率算法，对来自硬件编码子系统的马赛克图像进行空间和光谱维度的重构，从而完成联合优化网络模型的训练。
39.推理子系统使用训练好的联合优化网络模型进行推理。在每次推理过程中，推理子系统无需重复训练，每次均使用相同的联合优化网络模型。
40.硬件编码子系统的输出端与软件解码子系统的输入端相连，软件解码子系统的输出端与推理子系统的输入端相连。
41.有益效果
42.本发明，对比现有技术，具有以下优点：
43.1.本发明基于深度学习的高光谱图像重建技术，对空间维和光谱维的排布模式进行联合优化，同时重建高光谱图像，能够有效提取高光谱图像的内部特征。
44.2.本发明通过一个深度展开网络，同时解决了空间去马赛克和光谱超分辨率，能够显式地利用模型特点，使网络更加灵活且更具解释性。
45.3.本发明设计了优化层，联合优化了空间多光谱滤波阵列和光谱响应函数的排布模式，充分利用了高光谱图像的空谱相关性，提高了高光谱图像的重构精度。
附图说明
46.图1是本发明方法的流程图。
47.图2是本发明方法的整体框架示意图。
48.图3是本发明方法的核心算法模型中硬件编码器之光谱滤波阵列的示意图。
49.图4是本发明方法的核心算法模型中硬件编码器之光谱响应函数的示意图。
50.图5是本发明方法的核心算法模型中软件解码器的示意图。
51.图6是本发明系统的组成示意图。
具体实施方式
52.为了更好的说明本发明的目的和优点，下面结合附图和实施例对发明方法做进一步说明。
53.实施例
54.本实施例公开了一种基于深度学习的高光谱图像重建方法和系统，方法包括训练阶段和使用阶段；系统包括硬件编码子系统、软件解码子系统和推理子系统。本实施例的方法流程图和系统组成示意图，分别如图1和图6所示。
55.一种基于深度学习的高光谱图像重建方法。在训练阶段，首先下载mat格式的公开高光谱图像数据集，对每张高光谱图像保留通道数，在空间维度进行裁剪，得到64
×
64空间分辨率的高光谱图像块。每个高光谱图像块作为一个训练样本，将所有块视作训练数据。完成了对高光谱图像训练数据集的制造后，迭代修改算法模型的参数字典。在测试阶段，利用训练阶段得到的模型参数，根据联合优化网络生成高光谱图像并进行储存。进一步地，如果存在重构高光谱图像对应的真实高光谱图像，将两者进行对比评估，并判断网络模型的效果优劣。本实施例的流程图如图2所示。
56.步骤1：训练阶段。制作高光谱图像训练数据集，迭代修改算法模型的参数字典。
57.具体地，步骤1包括以下步骤：
58.步骤1.1：下载公开的高光谱图像数据集，进行图像增强、裁剪等预处理，生成训练数据集。
59.具体方法如下：
60.下载mat格式的公开高光谱图像数据集，对每张高光谱图像保留通道数，在空间维度进行裁剪，得到64
×
64空间分辨率的高光谱图像块。每个高光谱图像块作为一个训练样本，将所有块视作训练数据。
61.步骤1.2：设计多光谱滤波阵列和光谱响应函数，使得两者是参数可学习的。目的是将对硬件端的多光谱滤波阵列和光谱响应函数进行联合优化，达到软硬件能够相互约束的作用。
62.具体方法如下：
63.首先，通过编程实现一个可训练的物理二进制掩码，即多光谱滤波阵列，对应于空间排布的优化。其次，为了将最优空间信息引入高光谱成像过程，需设计一个可学习的光谱响应函数曲线。将两者一起伴随网络迭代而进行相关参数的更新。
64.对于多光谱滤波阵列的空间排布优化，本发明将其实现为一个可训练的物理二进制掩码。多光谱滤波阵列可以视作一个0-1向量，因此它可以产生严重的空间欠采样，模拟了快照式光谱成像系统采集马赛克图像的过程。本发明选择的是4
×
4的阵列大小，通过平铺多光谱滤波阵列，直至铺满整张训练样本来获得相应的传感器测量值。在设计多光谱滤波阵列的过程中，需要考虑其所受物理约束，确保其能够被制造出来。因此，对多光谱滤波阵列f使用含温度系数的softmax操作：
65.f
′
＝softmax[α
t
f](1)
[0066]
其中，f
′
是每次迭代后更新的f，α
t
表示通过训练迭代缓慢增加的温度参数。
[0067]
此处，将标准softmax函数应用于多维输入张量，以重新缩放它们，以便输出张量的元素范围介于[0,1]且总和为1。通过添加另一个超参数τ，使得结果在softmax函数的作
用下，愈大值会变大，愈小值会变小。因此，每个像素沿光谱的大值将逐渐占主导地位，使学习到的多光谱滤波阵列变成0-1向量。本实施例的流程图如图3所示。
[0068]
其次，上述空间排布学习仅在空间维度上优化了高光谱图像的采集模式。为了在空间和光谱维度上同时优化采集模式，本发明进一步引入了空间光谱联合优化层。具体地，从候选光谱响应函数集合中为多光谱滤波阵列的每个空间位置选择最佳的光谱响应，或者通过网络本身直接设计最佳空间光排布。
[0069]
根据马赛克图像与高光谱图像之间的线性关系，马赛克图像y的每个空间位置可以解释为高光谱图像沿光谱维度的加权和，不同的空间位置具有不同的权重。在空间光谱模式优化中应用如下两个约束：
[0070]
首先，由于模拟的马赛克图像的每个像素值应该是正数，所以学习排布模式中的所有值都是非负的。其次，光谱维度的排布需要平滑，以促进滤波器的实现。由此实现了强制网络学习非负且平滑的空间光谱排布模式，表示为：
[0071][0072]
其中，其中η1和η2是超参数。表示变换矩阵a在光谱维度上的梯度，表示2-范数的平方。在这一部分中，获得了用于设计空间光谱模式的约束损失，损失将添加到网络优化的总损失函数中。本实施例的流程图如图4所示。
[0073]
步骤1.3：高光谱图像重建网络模型根据输入的高光谱图像，在内部进行马赛克化，再进行重构，最终产生一组硬件端的多光谱滤波阵列掩膜和光谱响应函数的排布方式和一份重构的高光谱图像。将重构的高光谱图像与真实的高光谱图像进行对比，计算其损失函数并据此更新模型中的参数。
[0074]
具体方法如下：
[0075]
从训练数据集中随机选取16张高光谱图像输入网络模型。模型对每张高光谱图像先进行马赛克化，得到马赛克图像，再通过软件端的空间去马赛克和光谱超分辨率方法生成模型重构的高光谱图像。
[0076]
所述联合优化网络模型包括：深度先验正则化与卷积神经网络。
[0077]
由于从马赛克图像y中恢复原始高光谱图像x是一个逆问题，因此需要各种先验知识。本发明将优化算法展开为卷积神经网络。在本发明中，不是训练单个卷积神经网络，而是使用一系列卷积神经网络，将测量值映射到所需信号域。这种深度展开框架提高了所提出模型的灵活性和可解释性。
[0078]
在深度先验正则化中，遵循的是模仿先验正则化优化结构并将迭代展开到深度网络中的这一想法。因为变换矩阵a与多光谱滤波阵列和光谱响应函数高度相关，可以近似表示马赛克图像y与底层高光谱图像之间的关系。然而，高光谱图像重建问题是一个逆问题，因此，采用正则化先验来最小化式3是可行的：
[0079][0080]
其中，表示重构的高光谱图像，γ是一个平衡参数，r(
·
)是一个强加先验知识的正则化函数。
[0081]
式3能够很好地引入图像先验，同时确保退化的高光谱图像和恢复的高光谱图像
之间的一致性。然而，如果正则化项是不可微的，求解式3则是极为困难的。通常的做法是，将根据退化模型约束解的数据保真项和确保重构的与高光谱图像先验的正则化项进行解耦。最常用的优化方法是交替方向乘子算法，因此，式3解为：
[0082][0083]
其中，t和t+1分别表示当前阶段和下一阶段；x
(t+1)
表示在当前阶段经过一次优化后的高光谱图像。ρ是一个平衡参数；v表示为解决式3而引入的辅助变量；u表示v的对偶变量。v
(t)
表示当前阶段辅助变量的值，v
(t+1)
表示下一阶段辅助变量的值；u
(t)
表示当前阶段对偶变量的值，u
(t+1)
表示下一阶段对偶变量的值。x-问题是一个二次形式并且具有封闭形式的解；v-问题是一个去噪问题，在每个优化阶段都使用一个去噪网络来对其进行更新，这使得x
(t+1)
更接近所需信号领域。因此，式4重写为：
[0084][0085]
其中，i表示单位矩阵，a
t
表示对变换矩阵a的转置，t表示矩阵转置操作。
[0086]
在卷积神经网络中，由于变换矩阵a与重构网络中的参数同时学习，每次迭代都需要a的参与，导致优化过程更加困难。为解决这个问题，本发明采用一个由卷积层和激活函数组成的简单神经网络来替换变换矩阵a。本实施例的流程图如图5所示。
[0087]
总体而言，本发明实现了对多光谱滤波阵列、光谱响应函数的排布和空间去马赛克、光谱超分辨率的联合设计表示为自动编码器的训练。给定一组训练高光谱图像，硬件编码过程包括投影相应的输入空间和光谱信息在可训练的多光谱滤波阵列和光谱响应函数的控制下，这种投影生成单通道马赛克图像y，用作解码(空间和光谱重建)步骤的输入。软件解码器采用深度展开网络同时进行空间去马赛克和光谱超分辨率并重建高空间和光谱分辨率的高光谱图像。
[0088]
步骤1.4：重复步骤1.3，直到满足设定的终止条件后，将网络的结构与模型参数进行保存。
[0089]
训练过程中，不断重复向模型输入高光谱图像，并根据损失函数动态调整模型中的参数，直到满足预设条件(如：训练轮次达到一定量或某个评估指标优于某个预设值)，训练过程停止，并将模型参数进行储存。
[0090]
步骤2：使用阶段。
[0091]
利用步骤1训练阶段得到的模型参数，根据联合优化网络生成高光谱图像并进行储存。进一步地，如果存在重构高光谱图像对应的真实高光谱图像，将两者进行对比评估，并判断网络模型的效果优劣。
[0092]
具体地，psnr(peak signal to noise ratio)表示峰值信噪比，用来考查重建后
的高分辨率图像质量，其计算公式如下：
[0093][0094][0095]
其中，mse表示均方误差，h和w分表表示图像的高和宽，x(i,j)和分别表示在像素点为(i,j)处原始图像和重构图像的像素值；式6计算的是各像素点之间的均方误差。式7中的n表示像素的比特数。
[0096]
ssim(structural similarity)表示结构相似性，用于计算两幅高光谱图像之间的结构相似度。ssim与更传统的质量度量指标之间的关系可以在图像分量的向量空间中以几何形式展示，这些图像分量可以是像素强度或者提取的特征，例如变换后的线性系数。ssim的计算公式如下：
[0097][0098]
其中，μ
x
和分别表示原始图像x和重构图像的均值，σ
x
和分别表示原始高光谱图像x和重构的高光谱图像的方差，表示原始图像x和重构图像的协方差。c1和c2为常数，起到避免因分母为零而出错的作用。ssim的取值范围介于[0,1]，其数值越大，说明重构图像失真越少，还原度越高。
[0099]
psnr和ssim是两个常规的基于空间的索引，而sam(spectral angle metric)是基于频谱的，用作度量原始图像x和重构图像的光谱相似度。sam计算的是测试光谱向量与参考光谱向量之间的夹角余弦，用如下公式表示：
[0100][0101]
其中，m表示高光谱图像的通道数，n表示高光谱图像的总像素数。sam值越小，则还原的图像质量越好。分别表示在第i像素、第j通道处原始图像和重构图像的像素值。
[0102]
基于上述方法，本实施例进一步提出了一种基于联合优化的快照式光谱成像系统，包括硬件编码子系统、软件解码子系统和推理子系统。
[0103]
其中，硬件编码子系统用于联合优化多光谱滤波阵列和光谱响应函数的排布方式，将得到的马赛克图像发送给软件解码子系统。
[0104]
软件解码子系统用于联合优化空间去马赛克和光谱超分辨率算法，对来自硬件编码子系统的马赛克图像进行空间和光谱维度的重构，从而完成联合优化网络模型的训练。
[0105]
推理子系统使用训练好的联合优化网络模型，对实际场景进行成像、马赛克化、推理预测，得到重建的高空间光谱分辨率图像。在每次推理过程中，推理子系统无需重复训练，每次均使用相同的联合优化网络模型。
[0106]
上述组成系统之间的连接关系为：硬件编码子系统的输出端与软件解码子系统的输入端相连，软件解码子系统的输出端与推理子系统的输入端相连。
[0107]
本发明在快照式光谱成像系统下，在仿真数据的测试中相较于其他对比算法均有更好的重构质量。