人机交互系统及其方法

1.本发明涉及智能机器人技术领域，尤其涉及一种人机交互系统及其方法。


背景技术：

2.随着信息化、工业化不断融合，以机器人科技为代表的智能产业蓬勃兴起，成为新时代科技创新的一个重要标志，机器人的智能化进程就是不断进行交互的进程，智能化程度越深，自主性交互的能力越强。智能机器人感知与交互能力关键技术的突破，对于提升机器人智能化，进而促进整个机器人产业的发展均具有重要意义。研究表明，面向智能机器人多模态信号感知、交互信号的控制是影响人机交互的关键所在。目前的传感器在实现人机交互中多模态信号精准检测方面依然存在很大挑战。基于视觉感知的人机交互界面，需通过捕获大量的图片并做进一步分析，该人机交互界面对光照要求较高，交互结果易受到摄像头位置和光照等因素的显著制约。可穿戴人机交互界面，目前主要是基于惯性测量单元(加速度计和陀螺仪)的智能手套或套袖，尽管加速度计和陀螺仪具备良好的准确性和可靠性，但是该交互界面受到累积错误和繁杂数据处理的制约。柔性可穿戴传感器易实现运动信号的检测，正逐渐成为人机交互运动感知的主要候选者。但是，目前研究集中在触控反馈传感屏的创新性设计，而单一感知功能及交互的单向性导致其交互性较差，空间运动精度较低。尽管通过采用复杂的计算方法来消除环境等不利因素带来的影响，或者通过人为设计来提升适配的精度，但均无法从根本上解决单功能的人机交互系统的局限性。
3.机器人4.0时代的到来，赋予智能机器人新的内涵，新型智能交互将成为智能机器人发展的主流。要想实现智能交互，必须要在自动化的人机交互基础上融入机器人自主的学习、判断与信息反馈，实现人机-机人双向交互闭环控制，让智能机器人变成“真正智能机器人”。然而，现有的交互方式主要是单方向的人机交互，即人对机器人的控制，对于末端执行情况没有一个直接的反馈过程，即没法实现机器人信息给与人的交互反馈。
4.因此，针对上述技术问题，有必要提出多模态传感器阵列组合的多功能感知特性及智能机器人自主学习反馈算法的面向智能机器人的可穿戴的人机交互系统及方法。


技术实现要素：

5.本发明的目的在于提供一种方便使用的人机交互系统及其方法。
6.为实现上述目的，本发明提供如下技术方案：
7.一种人机交互系统，其包括能由操作者操控的智能机器人，所述智能机器人包括手臂和手部，包括：
8.运动信号感知模块，用以捕捉操作者手臂和手部的动作，并将其转换为数字信号；
9.形状信号感知模块，用以在所述智能机器人进行抓取作业时，采集所述智能机器人的手部操作的压力信号，进而根据所述压力信号进行特征提取，以生成抓取物的形状信息；
10.运动信号转换模块，用以将所述数字信号转换为控制所述智能机器人的动作指
令；
11.信号交互模块，其包括运动信号交互模块和形状信号交互模块；所述运动信号交互模块，用于将所述动作指令发送给所述智能机器人，使其依所述动作指令动作，从而重复操作者手臂和手部的动作；所述形状信号交互模块，用于将所述抓取物的形状信息进行神经网络算法处理，从而实现对抓取物的形状识别，并通过图像或视频反馈给操作者。
12.优选的，所述运动信号感知模块包括若干个穿戴式的柔性多模态感知装置，所述柔性多模态感知装置均包括一第一载具，所述第一载具上设置有若干个第一柔性电路板，每个所述第一柔性电路板上均阵列设置有应变传感器和/或摩擦电传感器，所述应变传感器和摩擦电传感器均包括第一敏感层、第一封装层和第一电极层；所述第一敏感层采用水凝胶制成。
13.优选的，所述水凝胶采用如下方式制备而成：取1份去离子水，将去离子水与丙烯酰胺按12ml：3g的比例混合；然后加入质量为丙烯酰胺的1.5％的过硫酸铵以及质量为丙烯酰胺的0.3％的n.n
’‑
亚甲基双烯酰胺并混合，形成第一预溶液；取1份去离子水，将玉米淀粉、去离子水和cacl2按12ml:3g:1.5g的比例混合，形成第二预溶液；将第一预溶液与第二预溶液混合，在80
±
2℃的温度下加热60至70分钟至凝固,形成双网络的水凝胶。
14.优选的，所述应变传感器和摩擦电传感器的第一封装层均采用有弹性的vhb胶带(vhb胶带是市场上可以采购的全部由聚丙烯酸酯构成胶带)。
15.优选的，所述形状信号感知模块包括若干个第二柔性电路板，所述第二柔性电路板上阵列设置有若干个压力传感器，所述压力传感器包括第二封装层、第二敏感层与第二电极层，所述压力传感器采用如下步骤制作而成：
16.s1)取常温下为液体的基本组分和配套的固化剂按设定比例混合，以获得硅橡胶液体，所述基本组分的材质为pdms(聚二甲基硅氧烷)；如：道康宁sylgard184硅橡胶，其包括10:1的基本组分和固化剂，混合后会凝固成固体的硅橡胶。
17.s2)将硅橡胶液体倾倒在孔隙率大于等于95％的方糖上，静置2至3小时后，在80
±
2℃下加热100至140分钟,待硅橡胶液体自然冷却固化后，将其与方糖放入去离子水中，在80
±
2℃的水浴中搅拌加热，直至方糖在去离子水中完全溶解，而获得由pdms制成的支撑层；
18.s3)在离子液体中加入质量比为1％的过硫酸铵作为引发剂和质量比为0.5％的n.n
’‑
亚甲基双烯酰胺作为交联剂得到混合溶液；将混合溶液进行离心搅拌20分钟后放入模具中，在70
±
2℃的温度下加热40至50分钟至凝固，即制得第二敏感层；
19.s4)将所述基本组分和配套的固化剂按设定比例混合，以获得硅橡胶液体，将硅橡胶液体倒入金属模具中，并在80
±
2℃的温度下加热10至20分钟，冷却固化后取下，制得第二封装层；将第二封装层、第二敏感层与柔性电极制成的第二电极层用胶进行胶合，制得所述压力传感器。
20.优选的，所述离子液体为1-乙烯基-3-乙基咪唑二腈胺盐液体。
21.优选的，操作者的肘部、手部和手指部均设置有所述应变传感器，操作者的肩部设置有所述摩擦电传感器。
22.本发明还提供一种人机交互方法，其包括人机交互系统，其包括以下步骤：
23.s1)将柔性多模态感知装置穿戴于操作者的手、肩、肘部，通过操作者的关节运动
带动信号感知模块的应变传感器和/或摩擦电传感器收集操作者的关节运动信息的数字信号；
24.s2)运动信号转换模块将所述数字信号送至单片机进行转换，将其为控制所述智能机器人的动作指令；
25.s3)运动信号交互模块将所述动作指令发送给所述智能机器人，所述智能机器人依所述动作指令动作，重复操作者手臂和手部的动作；
26.s4)将形状信号感知模块设置于智能机器人手部，以在操作者控制所述智能机器人进行抓取作业时，采集所述智能机器人的手部的压力信号；
27.s5)所述形状信号交互模块根据所述压力信号进行特征提取，在预先设置好的模型集中匹配对应的模型，从而获得抓取物的形状信息，并通过所述信号交互模块以图像或视频的方式反馈给操作者。
28.优选的，所述模型集通过下述方式创建：
29.s5-1)所述智能机器人对预先设置好的模型进行抓取，形状感知模块采集所述智能机器人的手部的压力信号；
30.s5-2)对获得的压力信号创建训练集和测试集，通过神经网络进行训练，以创建记录形状信息和压力信号的所述模型集；
31.s5-3)通过上位机将所述模型集作为脚本，实时识别时通过上位机创建的可视化界面调用所述脚本，实现最终的视频或图片的反馈。
32.本发明的有益效果是：本发明通过可穿戴的传感器来精确采集操作者的动作，来控制智能机器人进行人机协同运动，同时，智能机器人通过手部的压力传感器对抓取的物体进行感知，并通过神经网络分析出抓取物体的形貌特征，并且通过可视化的界面形成视听反馈。这样就使得操作者的动作与智能机器人运动同步更新，并将触觉及时反馈给操作者，从而大大提升人机交互系统的使用体验。
附图说明
33.图1为本发明的流程示意图；
34.图2是形状感知模块作业的原理示意图；
35.图3是应变传感器的结构示意图；
36.图4是摩擦电传感器的结构示意图；
37.图5是压力传感器的结构示意图；
38.图6是应变传感器的灵敏度/应变测试图；
39.图7是摩擦电传感器的电压/压强测试图；
40.图8是压力传感器的电流变化率/压强测试图。
具体实施方式
41.下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
42.在本发明的描述中，需要说明的是，术语“内”、“外”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，
因此不能理解为对本发明的限制。
43.如图1至图8所示，本发明的一种人机交互系统包括能由操作者操控的智能机器人，智能机器人包括手臂和手部。
44.本发明还包括：
45.运动信号感知模块，用以捕捉操作者手臂和手部的动作，并将其转换为数字信号；
46.形状信号感知模块，用以在所述智能机器人进行抓取作业时，采集所述智能机器人的手部操作的压力信号，进而根据所述压力信号进行特征提取，以生成抓取物的形状信息。
47.运动信号转换模块，用以将所述数字信号转换为控制所述智能机器人的动作指令；
48.信号交互模块，分为运动信号交互模块和形状信号交互模块，运动信号交互模块，用于将所述动作指令发送给所述智能机器人，使其依所述动作指令动作，从而重复操作者手臂和手部的动作；形状识别信号交互模块，用于将所述抓取物的形状信息进行神经网络算法等方式进行处理，从而实现抓取物体的形状识别，并通过图像或视频等方式反馈给操作者。
49.重点参考图1，本发明的工作流程简单可以归纳为：
50.操作者通过可穿戴设备即(柔性多模态感知装置)来捕捉其实时操作，并产生相应的运动信号，运动信号感知模块将其转换为数字信号，并由运动信号转换模块转换为控制机器人的机器人指令，发给智能机器人，使其同步动作。
51.智能机器人手部的触觉信息通过形状信号感知模块捕获后，并生成相关的数据集送入形状信号交互模块，由其进行特征提取，并送入神经网络进行识别，神经网络通过预先训练好的训练模型，将识别后的结构由形状信号交互模块通过视听界面反馈给操作者。
52.运动信号感知模块包括若干个穿戴式的柔性多模态感知装置，柔性多模态感知装置均包括一第一载具，第一载具上设置有若干个第一柔性电路板，每个第一柔性电路板上均阵列设置有应变传感器和/或摩擦电传感器，应变传感器和摩擦电传感器均包括第一敏感层13、第一封装层11和第一电极层12；第一敏感层13采用水凝胶制成。
53.水凝胶采用如下方式制备而成：取1份去离子水，将去离子与水丙烯酰胺按12ml：3g的比例混合；然后加入质量为丙烯酰胺的1.5％的过硫酸铵以及质量为丙烯酰胺的0.3％的n.n
’‑
亚甲基双烯酰胺并混合，形成第一预溶液；取1份去离子水，将玉米淀粉、去离子水和cacl2按12ml:3g:1.5g的比例混合，形成第二预溶液；将第一预溶液与第二预溶液混合，在80
±
2℃的温度下加热60至70分钟至凝固,形成双网络的水凝胶。
54.应变传感器和摩擦电传感器的第一封装层11均采用有弹性的vhb胶带(vhb胶带是市场上可以采购的全部由聚丙烯酸酯构成胶带)。
55.形状感信号知模块包括若干个第二柔性电路板(未图示)，第二柔性电路板上阵列设置有若干个压力传感器，压力传感器包括第二封装层31、第二敏感层32与第二电极层33，压力传感器采用如下步骤制作而成：
56.s1)取常温下为液体的基本组分和配套的固化剂按设定比例混合，以获得硅橡胶液体，基本组分的材质为pdms(聚二甲基硅氧烷)；如：道康宁sylgard184硅橡胶，其包括10:1的基本组分和固化剂，混合后会凝固成固体的硅橡胶。
57.s2)将硅橡胶液体倾倒在孔隙率大于等于95％的方糖上，静置2-3小时后，在80
±
2℃下加热100至140分钟,待硅橡胶液体自然冷却固化后，将其与方糖放入去离子水中，在80℃的水浴中搅拌加热，直至方糖在去离子水中完全溶解，而获得由pdms制成的支撑层；
58.s3)在离子液体(1-乙烯基-3-乙基咪唑二腈胺盐液体)中加入质量比为1％的过硫酸铵作为引发剂和质量比为0.5％的n.n
’‑
亚甲基双烯酰胺作为交联剂得到混合溶液；将混合溶液进行离心搅拌20分钟后放入模具中，在70
±
2℃的温度下加热40至50分钟至凝固，即制得第二敏感层32；
59.s4)将基本组分和配套的固化剂按设定比例混合，以获得硅橡胶液体，将硅橡胶液体倒入金属模具中，并在80
±
2℃的温度下加热10至20分钟，冷却固化后取下，制得第二封装层31；将第二封装层31、第二敏感层32与柔性电极制成的第二电极层33用胶进行胶合，制得压力传感器。
60.操作者的肘部、手部和手指部均设置有应变传感器，操作者的肩部设置有摩擦电传感器。
61.本发明还提供一种人机交互方法，其包括人机交互系统，其包括以下步骤：
62.s1)将柔性多模态感知装置作为可穿戴设备穿戴于操作者的手、肩、肘部，通过操作者的关节运动带动信号感知模块的应变传感器和/或摩擦电传感器收集操作者的关节的运动信息的数字信号；
63.s2)运动信号处理模块(即图1中的信号感知与处理模块中的部分功能模块)将数字信号送至单片机(上位机)进行转换，将其为控制智能机器人的动作指令(操作指令)；
64.s3)运动信号交互模块将动作指令发送给智能机器人，智能机器人依动作指令动作，重复操作者手臂和手部的动作；
65.s4)将形状信号感知模块设置于智能机器人手部，以在操作者控制智能机器人进行抓取作业时，采集智能机器人的手部的压力信号(即触觉信息)；
66.s5)形状信号交互模块根据压力信号进行特征提取，在预先设置好的模型集中匹配对应的模型，从而获得抓取物的形状信息，并把识别结果通过信号交互模块以图像或视频的方式作为视听反馈，反馈给操作者。
67.其中，模型集通过下述方式创建：
68.s5-1)智能机器人对预先设置好的模型进行抓取，形状信号感知模块采集智能机器人的手部的压力信号，形成压力信号数据集；
69.s5-2)对获得的压力信号创建训练集和测试集，通过神经网络进行训练，即模型训练，以创建记录形状信息和压力信号的模型集。
70.s5-3)通过上位机将所述模型集作为实时识别的脚本，实时识别通过上位机(labview或者unity)创建的可视化界面调用所述脚本，实现最终的视频或图片的反馈。
71.本发明设计的阵列设置的压力传感器分布于智能机器人灵巧手的手指与手心，其对不同物体抓取时记录不同形状对应的电压输出分布及强度，利用神经网络方法进行特征提取，并建立数据集模型，然后对数据集内的相关数据进行训练，并对不同形状的物体进行实时测试，最终提高其识别的准确性。
72.参考图6-8，图6是应变传感器的灵敏度/应变测试图；图7是摩擦电传感器的电压/压强测试图(图中标数为灵敏度)；图8是压力传感器的电流变化率/压强测试图(图中标数
为灵敏度)。经过测试，本发明制备的第一敏感层13、第二敏感层32具有较高的灵敏度，因而使得相应的传感器具有较高的灵敏度，且适合穿戴，非常适合本发明的应用场景。
73.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。