基于动作分析的人机交互方法、车载装置与流程

本发明涉及车辆管理技术领域，具体涉及一种基于动作分析的人机交互方法、车载装置。

背景技术：

随着车辆的普及，人们在生活中使用车辆的频率越来越高。发明人在实施本发明的过程中，发现当前并没有车辆能够很好的车内乘员互动，使得乘员在驾驶或乘坐过程中有好的乘坐体验。因此，存在对车辆改进的空间。

技术实现要素：

鉴于以上内容，有必要提出一种基于动作分析的人机交互方法、车载装置，能够在实现人机交互的同时有效提升乘员的乘坐体验。

本发明第一方面提供一种基于动作分析的人机交互方法，应用于车载装置，该方法包括：

获取摄像头实时拍摄的车内的视频资料；

基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况；

侦测乘坐位置的乘员的动作；及

当侦测到指定的动作时，基于所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作。

优选地，所述基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况包括：

基于所获取的视频资料确定车内各个乘坐位置是否有乘员；及

当确定任意一个乘坐位置有乘员时，将所述任意一个乘坐位置与对应的乘员的人脸图像建立关联。

优选地，所述基于所获取的视频资料确定车内各个乘坐位置是否有乘员包括：

从所获取的视频资料截取一个图片帧，以及从所截取的图片帧中识别各个人脸图像；

确定各个人脸图像在所述图片帧中的坐标点数据，并将每个人脸图像与对应的坐标点数据建立关联；及

根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员。

优选地，所述根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员包括：

预先存储一张图像模板，其中，该图像模板是在各个乘坐位置均无乘员的情况下由所述摄像头所拍摄获得；确定每个乘坐位置在所述图像模板中的分布区域；确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据，由此获得每个乘坐位置所对应的坐标点数据；及

将所述各个人脸图像所对应的坐标点数据与所述每个乘坐位置所对应的坐标点数据进行匹配，其中，当其中某个乘坐位置所对应的坐标点数据包括了某个人脸图像所对应的坐标点数据中的预设比例的坐标点数据时，确定所述车内的该某个乘坐位置有乘员；其中，该某个乘坐位置为所述各个乘坐位置中的任意一个乘坐位置，该某个人脸图像为所述各个人脸图像中的任意一个人脸图像。

优选地，所述指定的动作是指打电话的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：

当作出所述打电话的动作的乘员的乘坐位置为非驾驶位置时，调低车内的指定的音响设备的音量，该指定的音响设备是指与所述非驾驶位置所对应的音响设备；及

当作出所述打电话的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。

优选地，所述指定的动作是指看手机的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：

当作出所述看手机的动作的乘员的乘坐位置为所述非驾驶位置时，打开车内的指定的灯光设备，该指定的灯光设备是指用于为所述非驾驶位置的乘员照明的设备；及

当作出所述看手机的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。

优选地，所述指定的动作是指打瞌睡的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：

当作出所述打瞌睡的动作的乘员的乘坐位置为非驾驶位置时，关闭车内的所述指定的灯光设备；及

当作出所述打瞌睡的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。

优选地，所述乘坐状况还包括各个乘坐位置的对应乘员的属性；所述属性包括年龄段、性别、以及乘员喜好。

优选地，所述乘员喜好包括：座椅位置、座椅倾斜角度、空调设定、喇叭音量、光线强弱。

优选地，该方法还包括：基于车内乘员的乘坐位置以及乘员的属性执行相应的控制操作。

本发明第二方面提供一种车载装置，该车载装置包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现所述的基于动作分析的人机交互方法。

本发明实施例中所述的基于动作分析的人机交互的方法、车载装置，通过获取摄像头实时拍摄的车内的视频资料；基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况；侦测乘坐位置的乘员的动作；及当侦测到指定的动作时，基于所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作，能够实现人机交互的同时提升乘员乘坐体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明较佳实施例提供的基于动作分析的人机交互方法的流程图。

图2是本发明较佳实施例提供的基于动作分析的人机交互系统的功能模块图。

图3是本发明较佳实施例提供的车载装置的架构图。

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

图1是本发明较佳实施例提供的基于动作分析的人机交互方法的流程图。

在本实施例中，所述基于动作分析的人机交互方法可以应用于车载装置中，对于需要进行基于动作分析的人机交互的车载装置，可以直接在车载装置上集成本发明的方法所提供的用于基于动作分析的人机交互的功能，或者以软件开发工具包(softwaredevelopmentkit，sdk)的形式运行在车载装置上。

如图1所示，所述基于动作分析的人机交互方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

步骤s1，车载装置获取摄像头实时拍摄的车内的视频资料。

本实施例中，所述摄像头可以为广角摄像头，该广角摄像头能够拍摄到车内的各个乘坐位置的对应乘员的实时影像。

本实施例中，所述摄像头在车内的安装位置，可以由用户自行确定，只要使得所述摄像头能够拍摄到车内的各个乘坐位置的乘员的实时影像即可。

在其他实施例中，也可以每个乘坐位置对应配置一个摄像头，由此获得每个乘坐位置的乘员的实时影像。

步骤s2，车载装置基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况。

在一个实施例中，所述基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况包括：

(t1)基于所获取的视频资料确定车内各个乘坐位置是否有乘员；

(t2)当确定任意一个乘坐位置有乘员时，将所述任意一个乘坐位置与对应的乘员的人脸图像建立关联。

本实施例中，所述各个乘坐位置包括驾驶员的驾驶位置、副驾驶位置，以及后排的每个位置(如靠左边窗户的左侧位置、中间位置、靠右边窗户的右侧位置)。

在一个实施例中，所述基于所获取的视频资料确定车内各个乘坐位置是否有乘员包括(a1)-(a3)：

(a1)从所获取的视频资料截取一个图片帧，以及从所截取的图片帧中识别各个人脸图像。

具体地，可以利用人脸识别算法从所述图片帧中识别每个人脸图像。

(a2)确定各个人脸图像在所述图片帧中的坐标点数据，并将每个人脸图像与对应的坐标点数据建立关联。

具体地，可以首先基于所述图片帧建立一个坐标系，然后基于所建立的坐标系来确定所述各个人脸图像在所述图片帧的坐标点数据。

举例而言，所述坐标系可以以所述图片帧的左下角为原点，以所述图片帧的下边缘为横轴，以所述图片帧的左边缘为纵轴来建立所述坐标系。

(a3)根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员。

具体地，所述根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员包括(a31)-(a32)：

(a31)预先存储一张图像模板，其中，该图像模板可以是在各个乘坐位置均无乘员的情况下由所述摄像头所拍摄获得；确定每个乘坐位置在所述图像模板中的分布区域；确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据，由此获得每个乘坐位置所对应的坐标点数据。

具体地，所述确定每个乘坐位置在所述图像模板中的分布区域可以通过识别各个座椅来确定。

此外，所述确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据包括基于所述图像模板建立一个坐标系。需要说明的是，基于所述图像模板建立坐标系的原理与所述基于所述图片帧建立坐标系的原理相同。例如，以所述图像模板的左下角为原点，以所述图像模板的下边缘为横着，以及以所述图像模板的左边缘为纵轴来建立坐标系。

(a32)将所述各个人脸图像所对应的坐标点数据与所述每个乘坐位置所对应的坐标点数据进行匹配，由此确定各个乘坐位置是否有乘员。

具体地，当其中某个乘坐位置所对应的坐标点数据包括了某个人脸图像所对应的坐标点数据中的预设比例(例如90％，或95％)的坐标点数据时，确定所述车内的该某个乘坐位置有乘员。其中，该某个乘坐位置为所述各个乘坐位置中的任意一个乘坐位置，该某个人脸图像为所述各个人脸图像中的任意一个人脸图像。

举例而言，假设与副驾驶位置所对应的坐标点数据包括了某个人脸所对应的坐标点数据中的90％的坐标点数据时，则可确定所述副驾驶位置有乘员。

在一个实施例中，当确定车内任意一个乘坐位置有乘员时，所述车载装置还可以将所述人脸图像与所述乘坐位置建立关联。

在一个实施例中，所述乘坐状况还包括各个乘坐位置的对应乘员的属性。

本实施例中，所述属性包括年龄段。在其他实施例中，所述属性还可以进一步包括性别、乘员喜好。所述乘员喜好包括，但不限于，座椅位置、座椅倾斜角度、空调设定、喇叭音量、光线强弱。

本实施例中，所述车载装置可以预先将乘员喜欢好与年龄段、性别建立对用关系，由此当获得了乘员的性别和年龄段时即可获得对应的乘员喜好。

本实施例中，所述车载装置可以将各个乘坐位置所对应的人脸图像分别输入至预先训练生成的年龄段识别模型，由此获得各个乘坐位置的乘员的年龄段。

所述车载装置可以将各个乘坐位置所对应的人脸图像分别输入至预先训练生成的性别识别模型，由此获得各个乘坐位置的乘员的性别。

本实施例中，所述车载装置训练所述年龄段识别模型的方法包括(b1)-(b3)：

(b1)将预设数量(例如10万张)的包含人脸的图片作为训练样本，根据每张图片所对应的年龄将所述训练样本分组，得到多个样本组，每个样本组对应一个年龄段。

(b2)提取其中某个样本组中的每张图片的人脸特征，然后提取该某个样本组中的每张图片的人脸特征的特征向量，对该某个样本组的所有图片的人脸特征的特征向量作加权求平均值，将所计算得到的平均值作为该某个样本组所对应的的人脸特征的特征向量。其中，该某个样本组为所述多个样本组中的任意一个样本组。

(b3)根据上述步骤(b2)计算所述多个样本组中的其他样本组中的每个样本组所对应的人脸特征的特征向量，由此获得所述多个样本组中的每个样本组所对应的人脸特征的特征向量。所述其他样本组是指所述多个样本组中除所述某个样本组之外的样本组。

本实施例中，所述车载装置训练所述性别识别模型的方法包括(c1)-(c3)：

(c1)将预设数量(例如30万张)的包含人脸的图片作为训练样本，根据每张图片所对应的性别将所述训练样本分为两组，得到两个样本组，每个样本组对应其中一个性别。

(c2)提取其中一个样本组中的每张图片的人脸特征，然后提取该其中一个样本组中的每张图片的人脸特征的特征向量，对该其中一个样本组的所有图片的人脸特征的特征向量作加权求平均值，将所计算得到的平均值作为该其中一个样本组所对应的人脸特征的特征向量。其中，该其中一个样本组为所述两个样本组中的任意一个样本组。

(c3)根据上述步骤(c2)计算所述两个样本组中的另外一个样本组所对应的人脸特征的特征向量，由此获得所述两个样本组中的每个样本组所对应的人脸特征的特征向量。

步骤s3，车载装置侦测乘坐位置的乘员的动作。

具体地，可以利用预先训练生成的动作识别模型来侦测每个乘员的动作。

在一个实施例中，训练所述动作识别模型的步骤包括：

(d1)获取预设数量(例如30万个)的视频作为样本集，将个视频对应预设的多种动作中的其中一种动作；按照每个视频所对应的动作将所述样本集分组，每组对应一种预设的动作。

所述预设的多种动作可以包括，但不限于，打电话的动作、看手机的动作、打瞌睡的动作以及其他动作。

(d2)抽取每组中的每个视频的灰度特征、水平梯度特征、竖直梯度特征、水平光流特征和竖直光流特征，构成五个特征立方体，将所获得的特征立方体输入卷积神经网络，进行端到端训练得到所述动作识别模型。

步骤s4，车载装置确定是否侦测到指定的动作。当侦测到所述指定的动作时执行步骤s5。否则回到步骤s3，继续侦测每个乘坐位置的每个乘员的动作。

本实施例中，所述指定的动作可以是指所述预设的多种动作中的任意一种。如前面所述，该预设的多种动作可以包括，但不限于，打电话的动作、看手机的动作、打瞌睡的动作以及其他动作。

步骤s5,车载装置基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作。

在一个实施例中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：

(f1)当所述指定的动作为所述打电话的动作时，且作出所述打电话的动作的乘员的乘坐位置为非驾驶位置(即除驾驶位置之外的其他的乘坐位置)例如后排时，调低车内的指定的音响设备的音量，其中，该指定的音响设备可以是指与所述非驾驶位置所对应的音响设备。举例而言，假设作出所述打电话的动作的乘员是后排其中一个乘客，那么可以调低对应后排的音响设备的音量。

(f2)当所述指定的动作为所述看手机的动作时，且作出所述看手机的动作的乘员的乘坐位置为非驾驶位置例如后排时，打开车内的指定的灯光设备，其中，该指定的灯光设备可以是指用于为所述非驾驶位置的乘员照明的设备。

(f3)当所述指定的动作为所述打瞌睡的动作，且作出所述打瞌睡的动作的乘员的乘坐位置为非驾驶位置例如副驾驶位置或者后排时，关闭车内的指定的灯光设备，其中，该指定的灯光设备可以是指用于为所述非驾驶位置的乘员照明的设备。

(f4)当所述指定的动作为所述打电话的动作或者看手机的动作或者打瞌睡的动作，且作出所述指定的动作的乘员的乘坐位置为所述驾驶员位置时，则发出警示。例如可以通过语音提示驾驶员该指定的动作影响开车安全，或者通过扬声器播放预设的警示音效。

在其他实施例中，所述车载装置也可以基于车内乘员的乘坐位置以及乘员的属性执行相应的控制操作。

举例而言，当乘员的乘坐位置为后排靠窗位置，且乘员为小孩(例如年龄段是0～14岁)时，锁定与该乘员的乘坐位置所对应的门窗。

在其他实施例中，所述车载装置也可以基于所侦测到的所述指定的动作、作出所述指定的动作的乘员所在的乘坐位置以及作出所述指定的动作的乘员的属性，执行相应的控制操作。

根据上述记载可知，本发明实施例的所述基于动作分析的人机交互方法，通过获取摄像头实时拍摄的车内的视频资料；基于所获取的视频资料检测车内乘坐状况，所述乘坐状况包括各个乘员对应的乘坐位置；实时侦测每个乘坐位置的每个乘员的动作；及当侦测到指定的动作时，基于所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作，可以基于车内乘员的动作及乘坐位置来实现相应的控制从而实现人机交互同时有效提升乘员的乘坐体验。

上述图1详细介绍了本发明的基于动作分析的人机交互方法，下面结合图2和图3，分别对实现所述基于动作分析的人机交互方法的软件装置的功能模块以及实现所述基于动作分析的人机交互方法的硬件装置架构进行介绍。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

参阅图2所示，是本发明较佳实施例提供的基于动作分析的人机交互系统30的功能模块图。

在一些实施例中，所述基于动作分析的人机交互系统30运行于车载装置中。所述基于动作分析的人机交互系统30可以包括多个由程序代码段所组成的功能模块。所述基于动作分析的人机交互系统30中的各个程序段的计算机程序代码可以存储于车载装置的存储器中，并由所述车载装置的至少一个处理器所执行，以实现(详见图1描述)基于动作分析的人机交互。

本实施例中，所述基于动作分析的人机交互系统30根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：执行模块301、确定模块302。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

执行模块301获取摄像头实时拍摄的车内的视频资料。

本实施例中，所述摄像头可以为广角摄像头，该广角摄像头能够拍摄到车内的各个乘坐位置的对应乘员的实时影像。

本实施例中，所述摄像头在车内的安装位置，可以由用户自行确定，只要使得所述摄像头能够拍摄到车内的各个乘坐位置的乘员的实时影像即可。

在其他实施例中，也可以每个乘坐位置对应配置一个摄像头，由此获得每个乘坐位置的乘员的实时影像。

所述执行模块301基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况。

在一个实施例中，所述基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况包括：

(t1)基于所获取的视频资料确定车内各个乘坐位置是否有乘员；

(t2)当确定任意一个乘坐位置有乘员时，将所述任意一个乘坐位置与对应的乘员的人脸图像建立关联。

本实施例中，所述各个乘坐位置包括驾驶员的驾驶位置、副驾驶位置，以及后排的每个位置(如靠左边窗户的左侧位置、中间位置、靠右边窗户的右侧位置)。

在一个实施例中，所述基于所获取的视频资料确定车内各个乘坐位置是否有乘员包括(a1)-(a3)：

(a1)从所获取的视频资料截取一个图片帧，以及从所截取的图片帧中识别各个人脸图像。

具体地，可以利用人脸识别算法从所述图片帧中识别每个人脸图像。

(a2)确定各个人脸图像在所述图片帧中的坐标点数据，并将每个人脸图像与对应的坐标点数据建立关联。

具体地，可以首先基于所述图片帧建立一个坐标系，然后基于所建立的坐标系来确定所述各个人脸图像在所述图片帧的坐标点数据。

举例而言，所述坐标系可以以所述图片帧的左下角为原点，以所述图片帧的下边缘为横轴，以所述图片帧的左边缘为纵轴来建立所述坐标系。

(a3)根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员。

具体地，所述根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员包括(a31)-(a32)：

(a31)预先存储一张图像模板，其中，该图像模板可以是在各个乘坐位置均无乘员的情况下由所述摄像头所拍摄获得；确定每个乘坐位置在所述图像模板中的分布区域；确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据，由此获得每个乘坐位置所对应的坐标点数据。

具体地，所述确定每个乘坐位置在所述图像模板中的分布区域可以通过识别各个座椅来确定。

此外，所述确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据包括基于所述图像模板建立一个坐标系。需要说明的是，基于所述图像模板建立坐标系的原理与所述基于所述图片帧建立坐标系的原理相同。例如，以所述图像模板的左下角为原点，以所述图像模板的下边缘为横着，以及以所述图像模板的左边缘为纵轴来建立坐标系。

(a32)将所述各个人脸图像所对应的坐标点数据与所述每个乘坐位置所对应的坐标点数据进行匹配，由此确定各个乘坐位置是否有乘员。

具体地，当其中某个乘坐位置所对应的坐标点数据包括了某个人脸图像所对应的坐标点数据中的预设比例(例如90％，或95％)的坐标点数据时，确定所述车内的该某个乘坐位置有乘员。其中，该某个乘坐位置为所述各个乘坐位置中的任意一个乘坐位置，该某个人脸图像为所述各个人脸图像中的任意一个人脸图像。

举例而言，假设与副驾驶位置所对应的坐标点数据包括了某个人脸所对应的坐标点数据中的90％的坐标点数据时，则可确定所述副驾驶位置有乘员。

在一个实施例中，当确定车内任意一个乘坐位置有乘员时，所述执行模块301还可以将所述人脸图像与所述乘坐位置建立关联。

在一个实施例中，所述乘坐状况还包括各个乘坐位置的对应乘员的属性。

本实施例中，所述属性包括年龄段。在其他实施例中，所述属性还可以进一步包括性别、乘员喜好。所述乘员喜好包括，但不限于，座椅位置、座椅倾斜角度、空调设定、喇叭音量、光线强弱。

本实施例中，所述执行模块301可以预先将乘员喜欢好与年龄段、性别建立对用关系，由此当获得了乘员的性别和年龄段时即可获得对应的乘员喜好。

本实施例中，所述执行模块301可以将各个乘坐位置所对应的人脸图像分别输入至预先训练生成的年龄段识别模型，由此获得各个乘坐位置的乘员的年龄段。

所述执行模块301可以将各个乘坐位置所对应的人脸图像分别输入至预先训练生成的性别识别模型，由此获得各个乘坐位置的乘员的性别。

本实施例中，所述执行模块301训练所述年龄段识别模型的方法包括(b1)-(b3)：

(b1)将预设数量(例如10万张)的包含人脸的图片作为训练样本，根据每张图片所对应的年龄将所述训练样本分组，得到多个样本组，每个样本组对应一个年龄段。

(b2)提取其中某个样本组中的每张图片的人脸特征，然后提取该某个样本组中的每张图片的人脸特征的特征向量，对该某个样本组的所有图片的人脸特征的特征向量作加权求平均值，将所计算得到的平均值作为该某个样本组所对应的的人脸特征的特征向量。其中，该某个样本组为所述多个样本组中的任意一个样本组。

(b3)根据上述步骤(b2)计算所述多个样本组中的其他样本组中的每个样本组所对应的人脸特征的特征向量，由此获得所述多个样本组中的每个样本组所对应的人脸特征的特征向量。所述其他样本组是指所述多个样本组中除所述某个样本组之外的样本组。

本实施例中，所述执行模块301训练所述性别识别模型的方法包括(c1)-(c3)：

(c1)将预设数量(例如30万张)的包含人脸的图片作为训练样本，根据每张图片所对应的性别将所述训练样本分为两组，得到两个样本组，每个样本组对应其中一个性别。

(c2)提取其中一个样本组中的每张图片的人脸特征，然后提取该其中一个样本组中的每张图片的人脸特征的特征向量，对该其中一个样本组的所有图片的人脸特征的特征向量作加权求平均值，将所计算得到的平均值作为该其中一个样本组所对应的人脸特征的特征向量。其中，该其中一个样本组为所述两个样本组中的任意一个样本组。

(c3)根据上述步骤(c2)计算所述两个样本组中的另外一个样本组所对应的人脸特征的特征向量，由此获得所述两个样本组中的每个样本组所对应的人脸特征的特征向量。

所述执行模块301侦测乘坐位置的乘员的动作。

具体地，所述执行模块301可以利用预先训练生成的动作识别模型来识别每个乘员的动作。

在一个实施例中，训练所述动作识别模型的步骤包括：

(d1)获取预设数量(例如30万个)的视频作为样本集，将个视频对应预设的多种动作中的其中一种动作；按照每个视频所对应的动作将所述样本集分组，每组对应一种预设的动作。

所述预设的多种动作可以包括，但不限于，打电话的动作、看手机的动作、打瞌睡的动作以及其他动作。

(d2)抽取每组中的每个视频的灰度特征、水平梯度特征、竖直梯度特征、水平光流特征和竖直光流特征，构成五个特征立方体，将所获得的特征立方体输入卷积神经网络，进行端到端训练得到所述动作识别模型。

确定模块302确定是否侦测到指定的动作。当侦测到所述指定的动作时执行步骤s5。否则回到步骤s3，所述执行模块301继续侦测每个乘坐位置的每个乘员的动作。

本实施例中，所述指定的动作可以是指所述预设的多种动作中的任意一种。如前面所述，该预设的多种动作可以包括，但不限于，打电话的动作、看手机的动作、打瞌睡的动作以及其他动作。

所述执行模块301基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作。

在一个实施例中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：

(f1)当所述指定的动作为所述打电话的动作时，且作出所述打电话的动作的乘员的乘坐位置为非驾驶位置(即除驾驶位置之外的其他的乘坐位置)例如后排时，调低车内的指定的音响设备的音量，其中，该指定的音响设备可以是指与所述非驾驶位置所对应的音响设备。举例而言，假设作出所述打电话的动作的乘员是后排其中一个乘客，那么可以调低对应后排的音响设备的音量。

(f2)当所述指定的动作为所述看手机的动作时，且作出所述看手机的动作的乘员的乘坐位置为非驾驶位置例如后排时，打开车内的指定的灯光设备，其中，该指定的灯光设备可以是指用于为所述非驾驶位置的乘员照明的设备。

(f3)当所述指定的动作为所述打瞌睡的动作，且作出所述打瞌睡的动作的乘员的乘坐位置为非驾驶位置例如副驾驶位置或者后排时，关闭车内的指定的灯光设备，其中，该指定的灯光设备可以是指用于为所述非驾驶位置的乘员照明的设备。

(f4)当所述指定的动作为所述打电话的动作或者看手机的动作或者打瞌睡的动作，且作出所述指定的动作的乘员的乘坐位置为所述驾驶员位置时，则发出警示。例如可以通过语音提示驾驶员该指定的动作影响开车安全，或者通过扬声器播放预设的警示音效。

在其他实施例中，所述执行模块301也可以基于车内乘员的乘坐位置以及乘员的属性执行相应的控制操作。

举例而言，当乘员的乘坐位置为后排靠窗位置，且乘员为小孩(例如年龄段是0～14岁)时，锁定与该乘员的乘坐位置所对应的门窗。

在其他实施例中，所述执行模块301也可以基于所侦测到的所述指定的动作、作出所述指定的动作的乘员所在的乘坐位置以及作出所述指定的动作的乘员的属性，执行相应的控制操作。

根据上述记载可知，本发明实施例的所述基于动作分析的人机交互系统，通过获取摄像头实时拍摄的车内的视频资料；基于所获取的视频资料检测车内乘坐状况，所述乘坐状况包括各个乘员对应的乘坐位置；实时侦测每个乘坐位置的每个乘员的动作；及当侦测到指定的动作时，基于所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作，可以基于车内乘员的动作及乘坐位置来实现相应的控制从而实现人机交互同时有效提升乘员的乘坐体验。

参阅图3所示，为本发明较佳实施例提供的车载装置的结构示意图。

本发明的较佳实施例中，车载装置3可以安装在车100上。该车载装置3可以是指车载电脑。所述车100可以是汽车、机车等。所述车载装置3可以包括，但不限于，至少一个摄像头101、一个或多个灯光设备102、一个或多个扬声器103等。所述基于动作分析的人机交互系统30用于根据车100内的乘员的动作以及乘坐位置执行相应的控制(具体细节后面介绍)。

本实施例中，所述至少一个摄像头101用于拍摄车100内的各个乘坐位置的对应乘员的实时影像。所述摄像头101可以为广角摄像头。

本实施例中，所述摄像头101在车100内的安装位置，可以由用户自行确定，只要使得所述摄像头101能够拍摄到车100内的各个乘坐位置的乘员的实时影像即可。

在其他实施例中，也可以每个乘坐位置对应配置一个摄像头101，由此利用对应每个乘坐位置的摄像头101分别获得每个乘坐位置的乘员的实时影像。

本实施例中，所述各个乘坐位置包括驾驶员的驾驶位置、副驾驶位置，以及后排的每个位置(如靠左边窗户的左侧位置、中间位置、靠右边窗户的右侧位置)。

本实施例中，所述一个或多个灯光设备102可以为安装在所述车100内的照明灯。所述一个或多个扬声器103可以用于输出音频数据。

本实施例中，所述车载装置3还可以包括互相之间电气连接的存储器31、至少一个处理器32。

本领域技术人员应该了解，图1示出的车载装置3以及车100的结构并不构成本发明实施例的限定，所述车载装置3或者车100还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。例如，所述车载装置3还可以包括显示屏等部件。

在一些实施例中，所述车载装置3包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。

需要说明的是，所述车载装置3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器31可以用于存储计算机程序的程序代码和各种数据。例如，所述存储器31可以用于存储安装在所述车载装置3中的基于动作分析的人机交互系统30，并在车载装置3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31可以是包括只读存储器(read-onlymemory，rom)、可编程只读存储器(programmableread-onlymemory，prom)、可擦除可编程只读存储器(erasableprogrammableread-onlymemory，eprom)、一次可编程只读存储器(one-timeprogrammableread-onlymemory，otprom)、电子擦除式可复写只读存储器(electrically-erasableprogrammableread-onlymemory，eeprom)、只读光盘(compactdiscread-onlymemory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者任何其他能够用于携带或存储数据的计算机可读的存储介质。

在一些实施例中，所述至少一个处理器32可以由集成电路组成。例如，可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(centralprocessingunit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述车载装置3的控制核心(controlunit)，利用各种接口和线路连接整个车载装置3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行车载装置3的各种功能和处理数据，例如，根据车100内的乘员的动作以及乘坐位置对应控制相关设备如所述灯光设备102以实现人机交互的功能(具体细节后面介绍)。

尽管未示出，所述车载装置3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述车载装置3还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块包括若干指令，该若干指令用以使得一台车载装置(可以车载电脑等)或处理器(processor)执行本发明各个实施例所述方法的部分。

在进一步的实施例中，结合图2，所述至少一个处理器32可执行所述车载装置3的操作装置以及安装的各类应用程序(如基于动作分析的人机交互系统30)等。

所述存储器31中存储有计算机程序代码，且所述至少一个处理器32可调用所述存储器31中存储的计算机程序代码以执行相关的功能。例如，图2中所述的各个模块是存储在所述存储器31中的计算机程序代码，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能以根据车100内的乘员的动作以及乘坐位置对应控制相关设备实现人机交互的功能的目的。

在本发明的一个实施例中，所述存储器31存储多个指令，所述多个指令被所述至少一个处理器32所执行以根据车100内的乘员的动作以及乘坐位置对应控制相关设备实现人机交互。

具体地，结合图1所示，所述至少一个处理器32对上述指令的具体实现方法包括：

获取摄像头实时拍摄的车内的视频资料；

基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况；

侦测乘坐位置的乘员的动作；及

当侦测到指定的动作时，基于所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作。

优选地，所述基于所获取的视频资料检测车内乘坐位置的乘员乘坐状况包括：

基于所获取的视频资料确定车内各个乘坐位置是否有乘员；及

当确定任意一个乘坐位置有乘员时，将所述任意一个乘坐位置与对应的乘员的人脸图像建立关联。

优选地，所述基于所获取的视频资料确定车内各个乘坐位置是否有乘员包括：

从所获取的视频资料截取一个图片帧，以及从所截取的图片帧中识别各个人脸图像；

确定各个人脸图像在所述图片帧中的坐标点数据，并将每个人脸图像与对应的坐标点数据建立关联；及

根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员。

优选地，所述根据所述各个人脸图像所对应的坐标点数据确定各个乘坐位置是否有乘员包括：

预先存储一张图像模板，其中，该图像模板是在各个乘坐位置均无乘员的情况下由所述摄像头所拍摄获得；确定每个乘坐位置在所述图像模板中的分布区域；确定每个乘坐位置在所述图像模板中的分布区域所对应的坐标点数据，由此获得每个乘坐位置所对应的坐标点数据；及

将所述各个人脸图像所对应的坐标点数据与所述每个乘坐位置所对应的坐标点数据进行匹配，其中，当其中某个乘坐位置所对应的坐标点数据包括了某个人脸图像所对应的坐标点数据中的预设比例的坐标点数据时，确定所述车内的该某个乘坐位置有乘员；其中，该某个乘坐位置为所述各个乘坐位置中的任意一个乘坐位置，该某个人脸图像为所述各个人脸图像中的任意一个人脸图像。

优选地，所述指定的动作是指打电话的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：

当作出所述打电话的动作的乘员的乘坐位置为非驾驶位置时，调低车内的指定的音响设备的音量，该指定的音响设备是指与所述非驾驶位置所对应的音响设备；及

当作出所述打电话的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。

优选地，所述指定的动作是指看手机的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：

当作出所述看手机的动作的乘员的乘坐位置为所述非驾驶位置时，打开车内的指定的灯光设备，该指定的灯光设备是指用于为所述非驾驶位置的乘员照明的设备；及

当作出所述看手机的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。

优选地，所述指定的动作是指打瞌睡的动作，其中，所述基于所侦测到的所述指定的动作，以及作出该指定的动作的乘员所在的乘坐位置，执行相应的控制操作包括：

当作出所述打瞌睡的动作的乘员的乘坐位置为非驾驶位置时，关闭车内的所述指定的灯光设备；及

当作出所述打瞌睡的动作的乘员的乘坐位置为所述驾驶员位置时，发出警示。

优选地，所述乘坐状况还包括各个乘坐位置的对应乘员的属性；所述属性包括年龄段、性别、以及乘员喜好。

优选地，所述乘员喜好包括：座椅位置、座椅倾斜角度、空调设定、喇叭音量、光线强弱。

优选地，该方法还包括：基于车内乘员的乘坐位置以及乘员的属性执行相应的控制操作。

在本发明所提供的几个实施例中，应该理解到，所揭露的计算机可读存储介质，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。