一种单次曝光拍摄获取多光谱图像的方法与流程

本发明属于光学工程领域，具体涉及一种单次曝光拍摄获取多光谱图像的方法。

背景技术：

光谱反射率重建是光学研究中的一个重要领域，其目的是通过各种成像设备所获取的与设备相关的RGB三色值重建出物体本身固有的与设备和光照都无关的光谱反射率，可用于准确预测物体在不同照明条件下的颜色。物体的光谱反射率，即物体对不同波长的光反射的光通量与入射的光通量之比。多光谱图像指的是一幅图片，其每一个像素点都是由光谱反射率组成。多光谱图像获取方式，现阶段而言分为两种：一、获取物体光谱反射率的传统方法是利用分光光度计。但分光光度计一次只能对一个像素测量,其工作量非常大，继而出现了为了高效地测量图像上每点的光谱反射率,可以使用具有十几个到几十个通道的多光谱成像系统(Multispectral imaging systems，MSIS)。该系统通常由电荷耦合器件，光学滤镜，线性扫描器，或者基于多通道照明的方法发展而来。这些类型的多光谱成像系统费时费力，并且价格昂贵。如申请号为201310222379.6、201310487513.5、201180013153.4的专利所公开的装置，其在获取多光谱图像时，会采用干涉滤色片、平台式扫描仪或传感器，产生一系列波长的单色光，最后合成的多光谱图像。二、基于多次曝光(通常是3次)的RGB三通道相机，它通常利用不同的窄带LED来产生合适的光源，并且通过一种计算方法，例如主成分分析(Principle Component Analysis，PCA)，维纳估计(Weiner method)，伪逆矩阵的方法等来重建光谱反射率。如申请号为201310210413.8的发明专利公开了一种多光谱图像获取方法，其需要在使用滤色片/无滤色片时分别针对高、中、低曝光量各拍摄一次；得到三次拍摄后获得的数据相机的响应值，再进行高动态范围图像的融合处理；将三次拍摄的数据融合得到与实际拍摄对象亮度相对应的图像编码，再由图像编码数据完成光谱反射率的重建。这种方法较之传统的利用多块滤镜的方法所需的计算成本更低，但由于需要多次曝光，不适用于拍摄动态的物体或者拍摄影像。直至目前，还未在任何专利或者技术文献中发现基于单次曝光来获取多光谱影像的方法。

技术实现要素：

本发明的目的是解决现有技术中获取多光谱图像需要依赖复杂的成像系统或多次曝光所带来的不便，并提供一种单次曝光拍摄获取多光谱图像的方法。本发明所采用的具体技术方案如下：

单次曝光拍摄获取多光谱图像的方法，步骤如下：

S1：选择与待测目标(可以是测试样品、目标物体或者目标场景)的光谱性质相似的M个训练样本，分别测定其在K种不同波长下的光谱反射率，并将其作为矩阵列元素，构建成一个K×M的矩阵R_trn，其中每一列分别代表一个训练样本的K个光谱反射率值。训练样本要保证与待测目标的相似性，如在训练样本选择过程中，考虑样本的代表性和相关性，即要求训练样本能够代表整个样本空间，同时与重建样本存在一定的相关性，能够较好的反映待测目标的光谱特性。训练样本可采用标准色卡，例如公司的Macbeth ColorChecker、Digital SG ColorChecker，或者其他任一指定的颜色库，也可以根据经验或已有的筛选方法进行选择。而训练样本的个数M可以根据实际情况进行选择，但需要满足样本数量足够达到训练的最低要求。由于人类生活中大多数物体表面的光谱反射率曲线具有平滑的性质，所以实际过程中光谱反射率曲线率可以在光谱的波长跨度范围内取K个采样点，以不同波长处的光谱反射率值拟合整条光谱反射率曲线率。K的取值可以根据实际进行选择。

S2：在照明光源下，获取M个训练样本在某一RGB相机中成像的RGB值，构建3×M的训练样本矩阵C_trn，其中每一列分别代表一个训练样本的R、G以及B值。

S3：分别获取N(N≥1)个待测目标在与S2相同的照明光源下，在与S2相同的RGB相机中成像的RGB值，构建成一个3×N的矩阵C_tst，其中每一列分别代表一个待测目标的R、G以及B值。

S4：分别对所述的矩阵C_trn和C_tst中的R、G、B分量进行相同的多项式扩展，得到P×M的训练样本扩展矩阵C'_trn和P×N的扩展矩阵C'_tst。本发明中多项式扩展是指利用多项式模型以原本矩阵中的R、G、B分量为基础，进一步扩展其高阶分量，如二阶的RG、RB、GB、R²、G²、B²和三阶的R²G、RGB等，以及1。对矩阵进行多项式扩展时，其新增的向量值可以根据扩展形式进行数学计算，如在的R、G、B分量基础上，扩展了R²、RGB和1，那么需要对C_trn和C_tst矩阵增加三行，分别作为R²、RGB和1的分量，R²所在行中某一列的值就是该列中R分量所在行数值的平方，RGB所在行中某一列的值就是该列中R、G、B分量所在行数值的乘积，1分量所在行的向量值全部为1。其他类型的多项式扩展计算方式类同。

S5：基于前述步骤中得到的矩阵，重建待测目标的反射率，得到待测目标的多光谱图像。可以采用的反射率重建方法包括但不限于如下几种，例如：

1)伪逆矩阵法-pseudo-inverse method(Babaei,V.,S.H.Amirshahi and F.Agahian,Using weighted pseudo-inverse method for reconstruction of reflectance spectra and analyzing the dataset in terms of normality.Color Research&Application,2011.36(4):p.295–305)；2)基于曲线平滑的平滑约束方法-curve smoothing based smoothness constraint method(Li,C.and M.R.Luo.The Estimation of Spectral Reflectances Using the Smoothness Constraint Condition.2001)；3)主成分分析法-principle component analysis based method(Sobagaki,H.,K.Takahama and Y.Nayatani,Estimation of spectral reflectance functions for Munsell renotations.Journal of the Color Science Association of Japan,1989.13(2):p.150-152)；4)维纳估计法-Weiner’s estimation based method(Stigell,P.,K.Miyata and M.Hauta-Kasari,Wiener estimation method in estimating of spectral reflectance from RGB images.Pattern Recognition and Image Analysis,2007.17(2):p.233-242)。

作为一种优选方式，计算待测目标的多光谱图像时可以采用如下方法:

R_rec＝R_trn(C'_trn)^⊥C'_tst

其中R_rec为重建的反射率矩阵，每一列分别代表一个待测目标在K个不同波长的光谱反射率；符号⊥表示这是一个伪逆矩阵。

作为另一种优选方式，还可以对矩阵C_trn和R_trn列向量均进行相同的扩展，将原矩阵中的第i列重复w_i遍，其中W＝w₁+w₂+……+w_M为所有样品重复出现的总次数，最终得到P×W的训练样本扩展矩阵C'_trn和K×W的扩展矩阵R'_trn。以R_trn为例，将原矩阵中的第i列重复w_i遍后，可表征为其中均与原矩阵中第i列向量一致。优化过程中，对两个矩阵的扩展应保持一致，即两个扩展后的矩阵中第i列被扩展的遍数w_i应一致。得到扩展矩阵后，以扩展后的矩阵代替原矩阵计算待测目标的多光谱图像，计算方法为R_rec＝R'_trn(C'_trn)^⊥C'_tst。然后，不断对w_i进行迭代优化，直至获得最优多光谱图像。迭代优化时，可以以重建的反射率与实际的反射率之间的色差或均方误差为优化指标，也可以采用其他优化指标，在此不做限定。

进一步的，本发明还提供了一种自适应的光谱优化算法，利用该优化算法得到的光谱，可以取得比其他光源更高的精度。该算法对照明光源进行优化的步骤如下：

任意给定一个初始的照明光源，按照步骤S1～S5重建待测目标的反射率；然后不断改变光源中的光谱组成，最终得到具有最优光谱的照明光源。优化所采用的优化指标与前述一样，可根据实际情况进行选择。另外，需要指出的是，照明光源的优化可单独进行，也可以与前述列向量的扩展方式联合进行。更为优选的是，不断对w_i进行迭代优化，直至获得优化后多光谱图像后，再采用光谱优化算法，对光谱组成进行优化，得到最优的多光谱图像。当然，两者顺序也可以相反，或者同步进行。优化算法包括但不限于粒子群算法，遗传算法等。

作为另一种优选方式，所述的多项式扩展中，随着P值的变化而采用不同的多项式；若记＝3时的多项式为P3＝[R G B]，则P＝5时，多项式扩展为P5＝[P3 RGB 1]；P＝9时多项式扩展为P9＝[P3 RG RB GB R² G² B²]，P＝11时多项式扩展为P11＝[P9 RGB 1]，P＝18时可拓展为P18＝[P11 RG² RB² GR² GB² BR² BG² R³ G³ B³],若P＝20时可拓展为P20＝[P18 RGB 1]。较优的是使P＝11，矩阵C_trn和C_tst中的R、G、B分量被多项式扩展为R,G,B,R²,G²,B²,RG,GB,BR,RGB以及1，该多项式模型提供了充足的颜色分量，能够较好的用于RGB到XYZ的映射，提高精度。

作为另一种优选方式，在所述的S2中，获取M个训练样本在某一RGB相机中成像的RGB值的方法可以采用以下两种方式：其一是在与S1相同的照明光源下，通过S2中的RGB相机直接拍摄训练样本的图像，根据得到的图像获取其RGB值；其二是利用S2中的RGB相机的光谱敏感函数(spectral sensitivity functions,SSFs)、S1中照明光源的光谱功率分布函数和训练样本的光谱反射率，计算训练样本在RGB相机中成像的RGB值。相机的光谱敏感函数可以通过厂商获取，也可以通过试验测定。

一般来说，照明光源满足如下条件：在反射率测量的K个波长均有一定的光谱能量。普通的白光光源通常能够满足该要求，因此无需采用复杂、昂贵的特殊光源。当然，实际上，如果光源只有单色光，那么也能正确还原该波段的反射率值，但其他波段的精度会很低

本发明通过优化的算法，实现了在一种光源下通过普通RGB相机的单次曝光拍摄，就能够获取到多光谱图像，从而大大减少了多光谱图像获取过程中对设备、光源的要求。本发明可以利用单一的照明光源(如白光光源)代替了红、绿、蓝三种LED。本发明提出的算法使用了多项式模型，自适应选择训练样本，还可以自动对不同的训练样本赋予不同的权重，并且也可以对照明光源的光谱进行优化来取得最优的反射率重建效果。本发明具有更加快速，低成本，相似的精度的优点，并且能够捕获影像的光谱以及动态物体的光谱，可以用在多种应用中，包括但不限于计算机图形学或者医学成像，印刷工业，文物复现，生物成像，美容行业，材料筛选等领域，以及颜色复制等其他的光谱再现领域。

本发明的具体效果将通过后续的实施例进行详细说明。

附图说明

图1为本发明实施例中于获取多光谱图像的系统结构示意图；

图2为实施例中采用的4000K光源；

图3为实施例4中得到的最优光谱。

具体实施方式

下面结合附图对本发明专利进行进一步说明，因便于更好地理解。本发明专利中的技术特征在不相互冲突的前提下，均可进行相互组合，不构成限制。

如图1所示，为下述实施例中用于获取多光谱图像的系统，该系统组成包括一台RGB三通道的数码相机1(佳能5D2照相机，用以拍摄场景4)，一台照明设备2(利用LED模拟出的4000K的照明光源，可通过改变组成该光源的LED来调整光谱组成)，一台光谱测量装置，例如分光辐射度计(用以测量照明光源的光谱能量分布)，一台控制计算机3(用以控制设备以及计算)，以及用来优化算法性能的训练样本。各实施例中，照明光源的光谱由光辐射度计(型号：JETI Specbos 1211 UV tele-spectroradiometer)进行测量。训练样品的光谱反射率由分光光度计(Datacolor SF600)进行测量。需要指出的是，该系统仅仅是一种实现方式，本领域技术人员还可以进行多种改变和优化，并不用于限定本发明的方法。

实施例1

本实施例中采用常规方法，既不进行多项式拓展也不进行权重优化，通过单次曝光拍摄获取多光谱图像。具体步骤如下：

S1：所使用的测试样品和训练样品均来自Digital SG ColorChecker，其中彩色色样总计96个。实验中将其分为两份，测试样品和训练样品各48个。从400-700nm波长范围内以400nm为起点，每隔10nm，设置一个采样点，共计31个。通过分光光度计分别测定48个训练样品在31个采样点下的光谱反射率，并将其作为矩阵行元素，构建成一个31×48的矩阵R_trn，其中每一列分别代表一个训练样本的31个光谱反射率值；

S2：照明光源的光谱组成如图2所示，在该光源下，利用相机的光谱敏感函数，获取48个训练样品的RGB值，构建3×48的训练样本矩阵C_trn，其中每一列分别代表一个训练样本的R、G以及B值；

S3：在与S2相同的照明光源下，通过与S2相同的RGB相机，在数码相机中成像，获取测试样品的RGB值，构建成一个3×48的矩阵C_tst，其中每一列分别代表一个待测目标的R、G以及B值；

S4：重建待测目标的反射率，得到待测目标的多光谱图像：计算待测目标的多光谱图像的方法为：

R_rec＝R_trn(C_trn)^⊥C_tst

其中R_rec为重建的反射率矩阵，每一列分别代表一个待测目标在K个不同波长的光谱反射率；符号⊥表示这是一个伪逆矩阵。

利用CIEDE2000色差公式计算色差，计算重建的反射率与实际的反射率在D65标准光源，标准A光源，以及F11光源下的色差值，结果为：平均色差5.5，最大色差13，标准差2.2。

实施例2

本实施例中仅采用多项式扩展，通过单次曝光拍摄获取多光谱图像。具体步骤如下：

S1：本步骤与实施例1相同。

S2：照明光源的光谱组成如图2所示，在该光源下，利用相机的光谱敏感函数，获取48个训练样品的RGB值，构建3×48的训练样本矩阵C_trn，其中每一列分别代表一个训练样本的R、G以及B值；

S3：在与S2相同的照明光源下，通过与S2相同的RGB相机，在数码相机中成像，获取测试样品的RGB值，构建成一个3×48的矩阵C_tst，其中每一列分别代表一个待测目标的R、G以及B值；

S4：分别对所述的矩阵C_trn和C_tst中的R、G、B分量进行相同的多项式扩展，其中P＝11，R、G、B分量经过扩展后包括R,G,B,R²,G²,B²,RG,GB,BR,RGB以及1，得到11×48的训练样本扩展矩阵C'_trn和11×48的扩展矩阵C'_tst；

S5：重建待测目标的反射率，得到待测目标的多光谱图像。计算待测目标的多光谱图像的方法为:

R_rec＝R_trn(C'_trn)^⊥C'_tst

其中R_rec为重建的反射率矩阵，每一列分别代表一个待测目标在K个不同波长的光谱反射率；符号⊥表示这是一个伪逆矩阵。

利用CIEDE2000色差公式计算色差，计算重建的反射率与实际的反射率在D65标准光源，标准A光源，以及F11光源下的色差值，结果为：平均色差3.2，最大色差10.8，标准差1.2。

实施例3

本实施例中，采用先进行多项式扩展，然后进行权重优化方式。具体步骤如下：

S1：本步骤与实施例1相同。

S2：照明光源的光谱组成如图2所示，在该光源下，利用相机的光谱敏感函数，获取48个训练样品的RGB值，构建3×48的训练样本矩阵C_trn，其中每一列分别代表一个训练样本的R、G以及B值；

S3：在与S2相同的照明光源下，通过与S2相同的RGB相机，在数码相机中成像，获取测试样品的RGB值，构建成一个3×48的矩阵C_tst，其中每一列分别代表一个待测目标的R、G以及B值；

S4：分别对所述的矩阵C_trn和C_tst中的R、G、B分量进行相同的多项式扩展，扩展后分量数为R,G,B,R²,G²,B²,RG,GB,BR,RGB以及1，得到11×48的训练样本扩展矩阵C”_trn和11×48的扩展矩阵C'_tst；

然后，对矩阵C”_trn和R_trn列向量均进行相同的扩展，将原矩阵中的第i列初始重复w_i遍，得到11×W的训练样本扩展矩阵C'_trn和31×W的扩展矩阵R'_trn，W为w_i的总和。

S5：重建待测目标的反射率，得到待测目标的多光谱图像，计算待测目标的多光谱图像的方法为:

R_rec＝R_trn(C'_trn)^⊥C'_tst

其中R_rec为重建的反射率矩阵，每一列分别代表一个待测目标在K个不同波长的光谱反射率；符号⊥表示这是一个伪逆矩阵。

然后，以重建的反射率与实际的反射率之间的色差为优化指标，不断对各wi的值进行迭代优化，直至获得最优多光谱图像。

利用CIEDE2000色差公式计算色差，计算重建的反射率与实际的反射率在D65标准光源，标准A光源，以及F11光源下的色差值，结果为：平均色差1.9，最大色差7.5，标准差1.4。

实施例4

本实施例中，基于实施例3，继续采用自适应的光谱优化算法，对图2所示的初始照明光源中的光谱组成进行优化。不断改变光源中的光谱组成，重复步骤S1～S5，采用粒子群算法(或遗传算法)优化光谱组成，直至得到。最终得到的照明光源的光谱组成如图3所示。将该最优光谱应用于实施例3中，包括权重优化中的wi在内的其余参数均保持一致，得到其计算重建的反射率与实际的反射率的色差。

色差利用CIEDE2000色差公式计算，计算重建的反射率与实际的反射率在D65标准光源，标准A光源，以及F11光源下的色差值，结果为：平均色差0.4，最大色差1.7，标准差0.3。

其具体的效果如下表所示：

以上所述的实施例只是本发明专利的一种较佳的方案，然其并非用以限制本发明专利。有关技术领域的普通技术人员，在不脱离本发明专利的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明专利的保护范围内。