超声图像和CT图像的配准方法、装置及设备与流程

本申请属于图像处理领域，尤其涉及超声图像和ct图像的配准方法、装置及设备。

背景技术：

近年来，由于医学影像引导的经皮肾手术，因其具有创作性小、并发症少、保留肾部位功能等优点，使得医学影像引导方式逐渐成为了经皮肾镜取石术中建立手术通道的重要手段。而清晰、实时的医学成像技术可以有效的提高术中穿刺精度，减少重复穿刺次数。而超声图像具有实时性强，检查成本低，但空间分辨率低，以及视野较小的特点，ct图像则具有分辨率高的特征，因此，将超声图像与ct图像配准，成为了提高影像精度和实时性的重要研究方向。

目前的超声图像与ct图像配准方式中，包括基于器官边缘特征以及内部血管特征的图像配准方法，以及基于深度学习的图像配准方法。然而，基于器官边缘特征以及内部血管特征的图像配准方法，局限于血管特征丰富的部位，对于血管特征稀疏的部位的配准精度不高。基于深度学习的图像配准方法时，迭代计算过程使得配准的实时性不高。

技术实现要素：

有鉴于此，本申请实施例提供了一种超声图像和ct图像的配准方法、装置及设备，以解决现有技术中在进行超声图像和ct图像的配准时，局限于血管特征丰富部位，以及配准过程中的实时性不高的问题。

本申请实施例的第一方面提供了一种超声图像与ct图像的配准方法，所述方法包括：

获取目标对象的超声图像，并提取所述目标对象在超声图像中的第一轮廓特征；

将所述第一轮廓特征与预设的多个第二轮廓特征进行面积匹配，确定至少一个候选ct切片，所述多个第二轮廓特征是所述目标对象的ct图像中预设的多个ct切片的轮廓特征；

根据所述至少一个候选ct切片分别与所述超声图像的相似度，确定目标ct切片；

根据目标ct切片在所述ct图像中的空间位置，确定所述超声图像与ct图像的配准关系。

结合第一方面，在第一方面的第一种可能实现方式中，

根据所述至少一个候选ct切片分别与所述超声图像的相似度，确定目标ct切片，包括：

通过迭代优化获得所述超声图像与所述候选ct切片之间的刚性变换矩阵；

根据所述刚性变换矩阵将所述候选ct切片变换为所述超声图像的坐标系下的图像，计算通过坐标系变换后的ct切片的图像与超声图像的相似度；

根据相似度确定超声图像所匹配的目标ct切片。

获得所述超声图像与所述候选ct切片之间的刚性变换矩阵计算通过坐标系变换后的ct的图像切片与超声图像的相似度

结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，通过迭代优化获得所述超声图像与所述候选ct切片之间的刚性变换矩阵，包括：

基于梯度下降的优化器，根据像素值均方根损失函数的梯度更新刚性变换矩阵；

当损失函数值收敛，或损失函数达到最大迭代次数，得到超声图像与候选ct切片之间的刚性变换矩阵。

结合第一方面的第一种可能实现方式，在第一方面的第三种可能实现方式中，根据所述刚性变换矩阵将所述候选ct切片变换为超声图像的坐标系下的图像，计算通过坐标系变换后的ct的图像切片与超声图像的相似度，包括：

通过刚性变换矩阵对所述候选ct切片进行变换，得到变换后的ct切片；

通过dice系数计算目标对象在变换后的ct切片和超声图像中的轮廓的相似度。

结合第一方面，在第一方面的第四种可能实现方式中，提取所述目标对象在超声图像中的轮廓特征，包括：

提取目标对象在超声图像中的感兴趣区域；

通过连续中值滤波，去除感兴趣区域中的噪声；

在去噪后的图像提取目标对象的轮廓边缘线条；

对轮廓边缘线条进行整合得到整合后的实线，通过闭操作连接断开的实线；

二值化所连接后的实线，得到目标对象的轮廓特征。

结合第一方面的第四种可能实现方式，在第一方面的第五种可能实现方式中，通过连续中值滤波，去除感兴趣区域中的噪声，包括：

通过第一尺寸过滤核过滤图像整体噪声；

通过第二尺寸过滤核过滤边缘轮廓的噪声，其中，第一尺寸过滤核的尺寸小于第二尺寸过滤核的尺寸。

结合第一方面，在第一方面的第六种可能实现方式中，在将所述超声图像中的轮廓特征与预设的ct图像中的ct切片的轮廓特征进行面积匹配之前，所述方法包括：

提取目标对象在ct切片中的感兴趣区域；

对所述提取感兴趣区域进行高斯滤波；

对滤波后的感兴趣区域进行二值化处理，得到目标对象在ct切片中的轮廓特征。

结合第一方面，在第一方面的第七种可能实现方式中，将所述超声图像中的轮廓特征与预设的ct图像中的ct切片的轮廓特征进行面积匹配，得到与所述超声图像中的轮廓特征匹配的候选ct切片，包括：

确定ct切片中的目标对象的轮廓面积，得到ct切片序号与目标对象的轮廓面积的拟合曲线；

获取超声图像中的目标对象的轮廓面积；

在所述拟合曲线中，查找与超声图像中的目标对象的轮廓面积匹配的ct切片序号，根据所查找的切片序号确定候选ct切片。

本申请实施例的第二方面提供了一种超声图像和ct图像的配准装置，所述装置包括：

轮廓特征提取单元，用于获取包括目标对象的超声图像，提取所述目标对象在超声图像中的轮廓特征；

候选ct切片获取单元，用于将所述超声图像中的轮廓特征与预设的ct图像中的ct切片的轮廓特征进行面积匹配，得到与所述超声图像中的轮廓特征匹配的候选ct切片；

配准关系确定单元，用于根据所述候选ct切片确定超声图像与ct图像的配准关系。

本申请实施例的第三方面提供了一种超声图像和ct图像的配准设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：预先确定目标对象的ct图像中的多个ct切片的轮廓特征，即预先确定多个第二轮廓特征，在获取到超声图像时，通过面积匹配的方式，在预先获取的多个ct切片中筛选出至少一个候选ct切片，根据候选ct切片与超声图像的相似度，确定目标ct切片，根据所确定的目标ct切片在ct图像中的空间位置，确定所述超声图像与所述ct图像的配准关系。由于只需要通过候选ct切片来确定ct图像与超声图像的配准关系，可以大大的减少需要配准计算的ct切片的数量，有利于提高配准的实时性，并且不局限于血管丰富的部位，可提高配准方法的适用范围。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的超声图像与ct图像配准的框架示意图；

图2是本申请实施例提供的超声图像与ct图像的配准方法的实现流程示意图；

图3是本申请实施例提供的一种超声图像的轮廓获取流程示意图；

图4是本申请实施例提供的一种超声图像的轮廓获取示意图；

图5是本申请实施例提供的一种ct切片的轮廓获取示意图；

图6为本申请实施例提供的一种ct切片序号和肾脏轮廓面积拟合曲线示意图；

图7为本申请实施例提供的一种超声图像与ct切片的配准数据表；

图8为本申请实施例提供的一种ct切片与超声图像融合的示意图；

图9为本申请实施例提供的一种超声图像与ct体数据之间的空间位置关系示意图；

图10为本申请实施例提供的一种超声图像与ct图像配准装置示意图；

图11是本申请实施例提供的超声图像和ct图像的配准设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

目前，用于穿刺手术导航的医学影像技术主要包括电子计算机断层扫描(英文全称为computedtomography，英文简称为ct)成像技术和超声成像技术。由于呼吸、组织变形以及穿刺手术过程中的不确定因素，基于术前高分辨率ct图像的穿刺规划难以在术中准确执行。而超声图像由于实时性强，检查成本低等优点成为了术中常用的影像引导手段，但是超声图像的空间分辨率较低，并且视野较为狭小，大大的限制了其在靶点定位中的作用。

为了提高穿刺手术导航的实时性和精确度，研究人员提出了多种二维的超声图像与三维的ct图像的配准方法。

其中，一般的超声图像与ct图像的配准方法为：首先，建立二维超声图像与ct图像中的ct切片的匹配关系，然后进行二维的超声图像到ct切片的配准，最终确定二维的超声图像与三维的ct图像的空间位置关系。

在确定超声图像与ct切片的匹配关系时，包括通过手动设置的方式来初始化匹配关系，并且在获取超声图像的过程中，基于光学定位传感器跟踪超声探头运动，进而通过物理空间跟图像空间之间的坐标转换关系，对匹配关系进行实时更新。这种匹配方式要求定位传感器与超声探头之间不能有障碍物遮挡，并且没有考虑目标对象的运动影响。比如，目标对象为器官时，在测量过程中，呼吸运动会影响器官的方位变化，因此，由于目标对象的运动信息或超声探头与定位传感器之间的障碍因素，使得超声图像与ct图像之间的配准精度不高。

为了降低目标对象的运动信息对配准精度的影响，提出了一种基于血管的边缘方向特征来计算二维的超声图像与ct图像的对应的关系的方法。该方法基于血管结构特征和梯度特征进行配准。当血管特征足够清晰时，能够得到较好的配准结果。但是，这种配准方式局限于血管特征较为丰富的部位，不利于广泛适用。

目前，基于深度学习的图像配准方法逐步成为了配准领域的研究热点，提出了不同的深度学习框架，比如无监督学习的图像配准框架，或者多模态图像的弱监督卷积神经网络框架等。然而，现有的深度学习配准框架对于稀疏图像特征的学习依然较为困难，对超声图像与ct图像的配准精度仍需进一步提高。

针对目前的超声图像与ct图像的配准所存在的缺陷，本申请提出了一种精度高、实时性好的超声图像与ct图像的配准方法。如图1所示为本申请实施例提供的一种在手术操作过程中的超声图像与ct图像的配准方法的实现框图，如图1所示：

在术前，可以采集患者腹部的三维的ct图像，从中提取目标对象的多个ct切片的ct特征掩码，也即第二轮廓特征。在术中，通过超声采集设备实时采集超声图像，并提取目标对象在超声图像中的超声特征掩码，也即第一轮廓特征。然后将第一轮廓特征与第二轮廓特征通过面积匹配的方式进行粗匹配，得到与第一轮廓特征在面积上匹配的候选ct切片。然后，计算候选ct切片与超声图像的相似度，根据图像相似度确定目标ct切片，根据目标ct切片在ct图像中的空间位置，确定超声图像与ct图像的配准关系。

下面结合具体实施例对本申请提供的超声图像与ct图像的配准方法进行示例性的说明。

如图2所示，为本申请该方法的实现流程包括：

s201，获取包括目标对象的超声图像，提取所述目标对象在超声图像中的轮廓特征。

本申请实施例中的目标对象，可以为手术的目标部位，或者仿真操作的部位。比如，目标对象可以为经皮穿刺的肾脏等。

在实时采集的超声图像中，为了能够快速的完成与ct图像中的ct切片的粗匹配，如图1所示，可以在术中或操作训练过程中，对获取的二维超声图像进行轮廓特征的提取，得到超声特征掩码。提取超声图像的轮廓特征的实现流程可以如图3所示，包括：

s301，提取目标对象在超声图像中的感兴趣区域。

其中，超声图像中的感兴趣区域(英文简称为roi，英文全称为regionofinterest)，是指超声图像中的目标对象所在的区域。

其中，提取所述目标对象在超声图像中的感兴趣区域的方法，可以根据目标对象的特征信息，获取超声图像中的roi。目标对象的特征信息包括但不限于形状特征、亮度特征等。

比如，在图4所示的超声图像的轮廓特征的提取过程示意图中，可以通过形状特征扫描的方式，获取所扫描的超声图像a中的感兴趣区域b。

s302，通过连续中值滤波，去除感兴趣区域中的噪声。

如图4所示，通过特征识别的方式所获取的感兴趣区域b包括较多的噪声，为了得到更为清晰的图像，可以通过连续中值滤波的方式，对所得到的感兴趣区域进行去噪处理，得到滤波后的图像c。

在可能的实现方式中，连续中值滤波过程可以包括：

通过第一尺寸过滤核过滤图像整体噪声，以及，通过第二尺寸过滤核过滤边缘轮廓的噪声，其中，第一尺寸过滤核的尺寸小于第二尺寸过滤核的尺寸。

通过较小尺寸过滤核进行滤波，可以去除图像整体噪声的同时，尽可能保留轮廓边缘信息。通过较大尺寸过滤核进行滤波，可以去除边缘轮廓上的噪声，得到去噪后的图像c。

s303，在去噪后的图像提取目标对象的轮廓边缘线条。

对感兴趣区域进行去噪处理后，得到去噪后的图像。可以对去噪后的图像进行轮廓边缘特征的提取。比如，可以采用candy算子提取轮廓边缘特征，得到包括边缘特征的图像d。

s304，对轮廓边缘线条进行整合得到整合后的实线，通过闭操作连接断开的实线。

通过连续中值滤波后，边缘仍旧存在一定的噪声。通过边缘轮廓特征提取，得到的边缘往往包括多种散乱的线条，可以将散乱的边缘线条整合为完整的实线。比如，可以通过拉普拉斯算子将散乱的边缘线条整合为完整的实线，还可以采用闭操作连接断开的部分。

s305，二值化所连接后的实线，得到目标对象的轮廓特征。

对连接后的实现可以进行二值化处理，即可得到目标对象的轮廓特征图e。如图1所示，所得到的轮廓特征，与预先设定好的(比如术前或操作训练前)ct图像中的ct切片进行粗匹配，得到候选ct切片。在目标对象的形状不会显著改变时，可以预先获取目标对象所对应的ct切片的轮廓特征，从而能够快速的与超声图像进行粗匹配。

其中，获取目标对象对应的ct切片的实现流程可以如图5所示，包括：

s5.1，获取ct图像中的ct切片。

其中，ct图像包括多个ct切片。对于同一目标对象，可以通过预先设定的角度幅值逐渐改变切片角度，得到每个角度下切片组，一个切片组中包括多个ct切片，通过多个角度对应的切片组，可以得到目标对象的ct图像。

比如，通常情况下，一般的目标对象的形态稳定，例如，不会随着呼吸发生明显的膨胀、收缩等形变，可以只考虑目标对象在自由呼吸时的刚体运动。可以在影像导航前的三维的ct图像，得到目标对象的ct切片。

s5.2，提取目标对象在ct切片中的感兴趣区域。

其中，提取所述目标对象在ct切片中的感兴趣区域的方法，可以根据目标对象的特征信息，获取ct切片中的roi。目标对象的特征信息包括但不限于形状特征、亮度特征等。

s5.3，对所述提取感兴趣区域进行高斯滤波。

对所提取的感兴趣区域，也即roi进行高斯滤波，可以过滤其中的大部分噪声，从而便于后续的二值化处理，得到更为准确的轮廓特征。

s5.4，对滤波后的感兴趣区域进行二值化处理，得到目标对象在ct切片中的轮廓特征。

对滤波后的roi进行二值化处理，即可得到ct切片中的目标对象的轮廓特征。

s202，将所述超声图像中的轮廓特征与预设的ct图像中的ct切片的轮廓特征进行面积匹配，得到与所述超声图像中的轮廓特征匹配的候选ct切片。

为了能够快速的得到与实时采集的超声图像所匹配的ct切片，可以计算所得到的ct切片的轮廓特征所对应的轮廓面积，以及超声图像的轮廓特征所对应的轮廓面积。通过面积匹配的方式进行粗匹配，得到超声图像所匹配的ct切片，即候选ct切片。

在可能的实现方式中，可以预先计算每个ct切片的轮廓特征所对应的轮廓面积，建立ct切片序号与轮廓面积的拟合曲线。比如，在图6中，可以计算每个ct切片序号所对应的肾脏轮廓面积，得到ct切片序号与肾脏轮廓面积的拟合曲线。在执行匹配过程中，可以对实时采集的超声图像中提取目标对象的轮廓特征，并计算超声图像的轮廓特征对应的轮廓面积。将所计算的超声图像的轮廓面积，与预先建立的拟合曲线进行比较，即可确定与所采集的超声图像的轮廓面积匹配的ct切片，将所可确定的一个或者多个ct切片作为候选ct切片。

通过面积匹配的方式，可以快速的确定超声图像所对应的候选ct切片，只需要在候选ct切片中确定超声图像所匹配的ct切片，从而能够大大的减少配准的计算量，提高配准效率。并且配准过程中不局限于血管特征，有利于提高配准的适应范围。

s203，根据所述至少一个候选ct切片分别与所述超声图像的相似度，确定目标ct切片。

在确定了所采集的超声图像所对应的候选ct切片后，由于具有相同轮廓面积的ct切片可能对应目标对应的不同检测角度，需要在候选ct切片中进一步挑选出与超声图像的检测角度相似的ct切片。

如图1所示，可以将候选ct切片与超声图像进行配准计算，确定超声图像与候选ct切片的相似性，将相似度最高的候选ct切片作为与超声图像配准的目标ct切片。

在可能的实现方式中，可以通过迭代优化的方式获取超声图像与候选ct切片之间的刚性变换矩阵，通过所获取的刚性变换矩阵，将ct切片变换至超声图像所在的坐标系下的图像，计算变换后的图像与超声图像的轮廓特征的相似度，选择相似度最高的候选ct切片作为目标ct切片。

具体的，在确定超声图像与候选ct切片的刚性变换矩阵时，可以基于梯度下降的优化器，比如adams优化器，根据像素值均方根(mse)损失函数loss的梯度不断更新配准参数，直至损失函数值收敛至最小值，或者迭代次数达到最大迭代次数。比如，可以通过公式确定超声图像与候选ct切片之间的刚性变换矩阵。其中，为超声图像与候选ct切片之间的刚性变换矩阵，ius为超声图像，ict为候选ct切片，loss为像素值均方根损失函数。

经过配准计算得到二维的超声图像与候选ct切片之间的刚性变换矩阵后，可以使用b样条插值法，将候选ct切片变换为超声图像坐标系下的图像，可以采用骰子系数(英文全称为dicecoefficient，英文简称为dc)计算变换后的候选ct切片与超声图像的相似度，计算公式可以为：

其中，为超声图像与候选ct切片之间的刚性变换矩阵，ius为超声图像，ict为候选ct切片，dice为骰子系数。dice越高，表示两者的相似度越高。通过选择骰子系数最高的候选ct切片与超声图像匹配，得到超声图像精准匹配的ct切片。

s204，根据目标ct切片在所述ct图像中的空间位置，确定所述超声图像与ct图像的配准关系。

根据所述刚性变换矩阵，可以确定目标ct切片在ct图像中的空间位置，根据该空间位置可以确定超声图像与ct图像的配准关系，从而可以根据该配准关系进行图像融合，得到实时、精确的导航影像。

为以验证本申请所述的配准方法，在超声图像上第i个标记点的坐标与经过配准变换后ct切片上第i个标记点的坐标之间的距离作为超声图像与ct切片的配准误差，即标记点的配准误差(英文全称为fiducialregistrationerror,fre)的计算公式可以为：

其中n为标记点数量。

超声图像与ct切片的配准实验中，ct切片与超声图像的配准误差如图7所示。在图7中，本申请所述配准方法，正确地计算出了超声图像与三维的ct图像的ct切片匹配关系，超声图像与ct切片的标记点的平均配准误差为0.709mm，平均配准运算时间为1.15s。

另外，经实验验证，本申请所提出的配准方法，可以肾脏体模数据上取得较好的配准精度，得到如图8所示的融合图像，即超声图像和ct切片的融合图像，并且根据所配准的ct切片，可以得到如图9所示的超声图像与ct体数据之间的空间位置关系。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图10为本申请实施例提供的一种超声图像与ct图像的配准装置的示意图，如图10所示，所述配准装置包括：

轮廓特征获取单元1001，用于获取目标对象的超声图像，并提取所述目标对象在超声图像中的第一轮廓特征；

面积匹配单元1002，用于将所述第一轮廓特征与预设的多个第二轮廓特征进行面积匹配，确定至少一个候选ct切片，所述多个第二轮廓特征是所述目标对象的ct图像中预设的多个ct切片的轮廓特征；

目标ct切片确定单元1003，用于根据所述至少一个候选ct切片分别与所述超声图像的相似度，确定目标ct切片；

配准关系确定单元1004，用于根据目标ct切片在所述ct图像中的空间位置，确定所述超声图像与ct图像的配准关系。

图10所示的配准装置，与图1所示的配准方法对应。

图11是本申请一实施例提供的超声图像和ct图像的配准设备的示意图。如图11所示，该实施例的超声图像和ct图像的配准设备11包括：处理器110、存储器111以及存储在所述存储器111中并可在所述处理器110上运行的计算机程序112，例如超声图像和ct图像的配准程序。所述处理器110执行所述计算机程序112时实现上述各个超声图像和ct图像的配准方法实施例中的步骤。或者，所述处理器110执行所述计算机程序112时实现上述各装置实施例中各模块/单元的功能。

示例性的，所述计算机程序112可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器111中，并由所述处理器110执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序112在所述超声图像和ct图像的配准设备11中的执行过程。

所述超声图像和ct图像的配准设备可包括，但不仅限于，处理器110、存储器111。本领域技术人员可以理解，图11仅仅是超声图像和ct图像的配准设备11的示例，并不构成对超声图像和ct图像的配准设备11的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述超声图像和ct图像的配准设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器110可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器111可以是所述超声图像和ct图像的配准设备11的内部存储单元，例如超声图像和ct图像的配准设备11的硬盘或内存。所述存储器111也可以是所述超声图像和ct图像的配准设备11的外部存储设备，例如所述超声图像和ct图像的配准设备11上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器111还可以既包括所述超声图像和ct图像的配准设备11的内部存储单元也包括外部存储设备。所述存储器111用于存储所述计算机程序以及所述超声图像和ct图像的配准设备所需的其他程序和数据。所述存储器111还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。