基于视觉和力觉触觉增强现实的工业人机交互系统及方法与流程

本发明涉及一种基于视觉和力觉触觉增强现实的工业人机交互系统及方法，属于人机交互和工业测量控制领域。

背景技术

当前工业现场有很多人机界面，包括工业触摸屏、仪表等，这些人机界面通常与设备直接连接，每台设备都需要一个人机交互界面，系统集成时间长、成本高、灵活性低。

公开号为cn107506037a的发明专利《一种基于增强现实的控制设备的方法和装置》，该技术方案检测用户眼球聚焦一设备时，确定该设备为待识别的设备，进而用户通过智能交互方式对目标设备信息中的控制菜单进行操作。该方案必须使用户与设备位于相同的位置空间内，才能使眼球注视到被控制设备，人机交互过程依然受到空间限制，无法使人机交互摆脱空间限制随人走动，且识别图像处理过程复杂。除此之外，该技术方案的智能交互方式无法将交互有效性及时反馈给用户，即无法及时获知用户的操作是否已被系统识别。

本发明旨在发明一种基于视觉和力觉/触觉增强现实的工业人机交互系统及方法，以克服上述缺点。

技术实现要素：

为了解决上述技术问题，本发明提供一种基于视觉和力觉触觉增强现实的工业人机交互系统，其替代传统工业的触摸屏，提高人机交互的便利性，且能够及时反馈交互的有效性。

本发明的技术方案如下：

基于视觉和力觉触觉增强现实的工业人机交互系统，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；

所述增强现实智能设备运行被控设备app，并将被控设备app软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备app软件界面是否碰撞，若未碰撞，则向被控设备app发送未碰撞指令；若碰撞，则向被控设备app发送界面碰撞指令和碰撞点，被控设备app解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备app软件界面间的人机交互。

更优地，发生碰撞时，向被控设备app发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；未发生碰撞时，向被控设备app发送未碰撞指令的同时，也向指尖力觉/触觉反馈设备发送未碰撞指令；

被控设备app还接收并解析被控设备发送的信息，然后显示在其软件界面上。

更优地，所述工业人机交互系统还包括用于提供下载被控设备app的云服务器，所述增强现实智能设备还包括app管理软件，在所述增强现实智能设备上先运行所述app管理软件，进而通过所述app管理软件查找并运行被控设备app；所述app管理软件包括app数据存储表、增强现实注册模块、与指尖力觉/触觉反馈设备交互的交互模块、被控设备代号输入模块；

所述app数据存储表存储被控设备代码与被控设备app之间的映射关系；

所述被控设备代号输入模块用于输入被控设备的代号，根据代号查询被控设备app，若存在于所述增强现实智能设备，则启动并运行该被控设备app，隐藏app管理软件界面；若不存在，则访问所述云服务器，从云服务器上下载该被控设备app，并将被控设备代号和对应的被控设备app名称添加到app数据存储表中，启动运行该被控设备app，隐藏app管理软件界面；

所述增强现实注册模块将被控设备app软件界面以及app管理软件界面叠加在物理环境中显示；

所述交互模块利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；根据代理点的位置和被控设备app软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备app软件界面，则发生碰撞，则由交互模块生成鼠标指令，然后向被控设备app发送界面碰撞指令和鼠标指令，若代理点位于操作者与被控设备app软件界面之间，则未发生碰撞。

更优地，被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入。

更优地，所述鼠标指令生成过程为：将当前发生的碰撞还结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。

更优地，被控设备app接收到碰撞指令后，在碰撞点显示设定的图形或动画，从视觉上提示操作者。

本发明还一种基于视觉和力觉触觉增强现实的工业人机交互方法，技术方案如下：

步骤10、在增强现实智能设备上运行被控设备app，建立被控设备app与被控设备间的连接，并将被控设备app软件界面叠加在物理环境上显示；

步骤20、利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备app软件界面是否碰撞，若未碰撞，则向被控设备app发送未碰撞指令，若碰撞，则向被控设备app发送界面碰撞指令和碰撞点；所述指尖力觉/触觉反馈设备穿戴在操作者指尖，或由操作者手持；

步骤30、被控设备app解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备app软件界面间的人机交互。

更优地，所述步骤20中，发生碰撞时，向被控设备app发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；未发生碰撞时，向被控设备app发送未碰撞指令的同时，也向指尖力觉/触觉反馈设备发送未碰撞指令；

所述步骤30之后还包括步骤40：

步骤40、被控设备app还接收并解析被控设备发送的信息，然后显示在其软件界面上。

更优地，在步骤10之前，还包括如下步骤：

步骤00、在所述增强现实智能设备上运行app管理软件，建立app管理软件与指尖力觉/触觉反馈设备通信，利用增强现实技术将app管理软件界面叠加在物理环境上显示；

步骤01、app管理软件界面上输入被控设备代号；被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入；

步骤02、查询该被控设备app，如存在，执行步骤10；如果不存在，执行步骤03；

步骤03、根据被控设备代号从云服务器下载并安装该被控设备app，并将被控设备代号和对应的被控设备app名称添加到app管理软件中；

然后执行步骤10至步骤30：

所述步骤10包括：

步骤11、启动运行该被控设备app，隐藏app管理软件界面，后台运行；

步骤12、利用增强现实技术将被控设备app软件界面显叠加在物理环境上显示；

所述步骤20包括：

步骤21、利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；

步骤22、根据代理点的位置和被控设备app软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备app软件界面，则发生碰撞，由所述app管理软件解析碰撞指令和碰撞点，生成鼠标指令，然后将碰撞指令和鼠标指令发送至被控设备app；

所述步骤30：被控设备app执行所述鼠标指令，生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备app软件界面间的人机交互。

更优地，鼠标指令生成过程为：将当前发生的碰撞结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。

本发明具有如下有益效果：

1、本发明能够替代传统的工业触摸屏，节省成本，使人机交互界面随人走，提高人机交互的便利性；

2、本发明通过指尖力觉/触觉反馈设备进行人机交互，能够及时获知交互的有效性，进一步提高了人机交互的逼真度；

3、本发明通过app管理软件管理并控制被控设备app，且由app管理软件生成鼠标指令，无需再次开发被控设备app，提高人机交互系统与现有被控app的兼容性；

4、本发明实现了工业设备app的云管理，提高了便利性。

附图说明

图1为本发明实施例一和实施例三的流程示意图；

图2为本发明实施例二和实施四的流程示意图；

图3为本发明实施例二和四的人-被控设备app-被控设备交互流程图。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

实施例一

请参阅图1，一种基于视觉和力觉触觉增强现实的工业人机交互系统，包括被控设备、增强现实智能设备以及穿戴在操作者指尖或者由操作者手持的指尖力觉/触觉反馈设备；

所述增强现实智能设备运行被控设备app，利用增强现实技术将被控设备app软件界面叠加在物理环境上显示，利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备app软件界面是否碰撞，若未碰撞，则向被控设备app发送未碰撞指令；若碰撞，则向被控设备app发送界面碰撞指令和碰撞点；被控设备app解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备app软件界面间的人机交互。

更优地，在检测到碰撞时，向被控设备app发送界面碰撞指令和碰撞点的同时，还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作，进一步提高了人机交互的逼真度。

被控设备app还能接收并解析被控设备发送的信息，然后显示在其软件界面上。

所述鼠标指令的生成过程为：被控设备app将当前产生的碰撞结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。

所述传感器可选用ccd传感器或深度传感器，但不限于这两种传感器

所述增强显示智能设备包括但不限于例如增强现实智能眼镜。增强现实智能设备包含ccd传感器、cpu、深度传感器、显示部件等，增强现实智能设备上还存储有部分被控设备app。

本实施例的交互过程如下：

请参阅图1，步骤10、所述增强现实智能设备运行被控设备app，建立被控设备app与被控设备间的连接，利用增强现实技术将被控设备app软件界面叠加在物理环境上显示；

然后执行步骤20-步骤30，进行人-被控设备app-被控设备间的交互：

步骤20、利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备app软件界面是否碰撞，若碰撞，则向被控设备app发送界面碰撞指令和碰撞点；所述指尖力觉/触觉反馈设备穿戴在操作者指尖，或由操作者手持；

步骤30、被控设备app解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备app软件界面间的人机交互。

本发明中，用于控制被控设备的app软件界面在空间上不再与被控设备绑定，摆脱了人机交互界面的空间限制，可替代传统工业的触摸屏，节省成本，是人机交互界面随人走，提高人机交互的便利性。

实施例二

本实施例解决了增强现实智能设备未能提供被控设备app这一问题，且提出利用app管理软件管理并控制被控设备app以及指尖力觉/触觉反馈设备实现碰撞检测、人机交互。

请参阅图2和图3，本实施例中，所述工业人机交互系统，包括被控设备、增强现实智能设备、指尖力觉/触觉反馈设备以及用于提供下载被控设备app的云服务器，所述增强现实智能设备还包括app管理软件，在所述增强现实智能设备上先运行所述app管理软件，进而通过所述app管理软件查找并运行被控设备app；所述app管理软件包括app数据存储表、增强现实注册模块、与指尖力觉/触觉反馈设备交互的交互模块、被控设备代号输入模块；

所述app数据存储表存储被控设备代码与被控设备app之间的映射关系；

所述被控设备代号输入模块用于输入被控设备的代号，根据代号查询被控设备app，若存在于所述增强现实智能设备，则启动并运行该被控设备app，隐藏app管理软件界面；若不存在，则访问所述云服务器，从云服务器上下载该被控设备app，并将被控设备代号和对应的被控设备app名称添加到app数据存储表中，启动运行该被控设备app，隐藏app管理软件界面；被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入；

所述增强现实注册模块将被控设备app软件界面以及app管理软件界面叠加在物理环境中显示；若当前显示界面为被控设备app软件界面，则所述增强现实注册模块将被控设备app软件界面叠加在物理环境中显示，若当前显示界面为app管理软件界面，则所述增强现实注册模块将app管理软件界面叠加在物理环境中显示；

所述交互模块利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并利用图像成像原理计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；根据代理点的位置和被控设备app软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备app软件界面，则发生碰撞，则由交互模块生成鼠标指令，然后向被控设备app发送界面碰撞指令和鼠标指令，若代理点位于操作者与被控设备app软件界面之间，则未发生碰撞。为了实时检测、响应指尖力觉/触觉反馈设备与被控设备app软件界面的碰撞，还可为交互模块单独开辟一个线程，若存在碰撞，以中断或消息的形式向被控设备app发送界面碰撞指令和鼠标指令。

较优地，所述交互模块周期性检测是否发生碰撞，若未检测到碰撞，则向被控设备app和指尖力觉/触觉反馈设备发送未碰撞指令；所述交互模块还结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令，例如点击界面按钮、选择文本等；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点。

更优地，在被控设备app接收到碰撞指令后，在碰撞点显示设定的图形或动画，从视觉上提示操作者。例如，被选定的目标图片的底色为设定的颜色，或被选定的目标图片动态显示。

本实施例的交互过程如下：

请参阅图2，步骤00、在所述增强现实智能设备上运行app管理软件，建立app管理软件与指尖力觉/触觉反馈设备通信，利用增强现实技术将app管理软件界面叠加在物理环境上显示；

步骤01、app管理软件界面上输入被控设备代号；被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入；

步骤02、查询该被控设备app，如存在，执行步骤10；如果不存在，执行步骤03；

步骤03、根据被控设备代号从云服务器下载并安装该被控设备app，并将被控设备代号和对应的被控设备app名称添加到app管理软件中；

所述步骤10包括：

步骤11、启动运行该被控设备app，隐藏app管理软件界面，后台运行；

步骤12、利用增强现实技术将被控设备app软件界面显叠加在物理环境上显示；

请参阅图3，所述步骤20包括：

步骤21、利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并利用图像成像原理计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；

步骤22、根据代理点的位置和被控设备app软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备app软件界面，则发生碰撞，由所述app管理软件解析碰撞指令和碰撞点，生成鼠标指令，然后将碰撞指令和鼠标指令发送至被控设备app；

所述步骤30：被控设备app执行所述鼠标指令，生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备app软件界面间的人机交互；

步骤40、被控设备app还接收并解析被控设备发送的信息，然后显示在其软件界面上；

本实施例中实现工业设备app的云管理，进一步提高了人机交互的便利性，且通过检测代理点与被控设备app软件界面间的距离，判断是否接触以及穿透。

实施例三

请参阅图1，基于视觉和力觉触觉增强现实的工业人机交互方法，包括如下步骤：

步骤10、所述增强现实智能设备运行被控设备app，建立被控设备app与被控设备间的连接，并将被控设备app软件界面叠加在物理环境上显示；

然后执行步骤20-步骤30，进行人-被控设备app-被控设备间的交互：

步骤20、利用增强现实智能设备上的传感器检测计算指尖力觉/触觉反馈设备的位置，然后判断指尖力觉/触觉反馈设备与被控设备app软件界面是否碰撞，若未碰撞，则向被控设备app和指尖力觉/触觉反馈设备发送未碰撞指令，若碰撞，则向被控设备app发送界面碰撞指令和碰撞点，同时还向指尖力觉/触觉反馈设备发送界面碰撞指令；所述指尖力觉/触觉反馈设备穿戴在操作者指尖，或由操作者手持；所述指尖力觉/触觉反馈设备接受到界面碰撞指令后给操作者以力觉/触觉反馈，以提示操作者已完成点击动作；

步骤30、被控设备app解析碰撞指令和碰撞点，生成鼠标指令，执行所述鼠标指令生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备app软件界面间的人机交互；被控设备app接收到碰撞指令后，还可以在碰撞点显示设定的图形或动画，从视觉上提示操作者；

所述鼠标指令生成过程为：将当前发生的碰撞结合上一次发生碰撞的时间间隔和碰撞点，生成单击、双击以及拖拽的鼠标指令：若两次发生碰撞的碰撞点间的距离小于距离阈值、间隔时间小于时间阈值且两次碰撞之间有检测到未碰撞，即碰撞-未碰撞-碰撞，则解析为双击鼠标指令；若检测到碰撞-未碰撞，且在后续的预设的时间段内未检测到碰撞，则解析为鼠标单击指令；若一直检测到碰撞，则解析为拖拽鼠标指令，界面拖拽区域为第一碰撞点到当前碰撞点；

步骤40、被控设备app还接收并解析被控设备发送的信息，然后显示在其软件界面上。

实施例四

本实施例提出利用app管理软件管理并控制被控设备app以及指尖力觉/触觉反馈设备实现碰撞检测、人机交互，同时，降低被控设备app软件研发难度，统一由app管理软件生成鼠标指令。

请参阅图2，基于视觉和力觉触觉增强现实的工业人机交互方法，包括如下步骤：

步骤00、在所述增强现实智能设备上运行app管理软件，建立app管理软件与指尖力觉/触觉反馈设备通信，利用增强现实技术将app管理软件界面叠加在物理环境上显示；

步骤01、app管理软件界面上输入被控设备代号；被控设备的代号输入方式包括扫描条形码、二维码、设备图像识别以及指尖力觉/触觉反馈设备位置跟踪输入；

步骤02、查询该被控设备app，如存在，执行步骤10；如果不存在，执行步骤03；

步骤03、根据被控设备代号从云服务器下载并安装该被控设备app，并将被控设备代号和对应的被控设备app名称添加到app管理软件中；

所述步骤10包括：

步骤11、启动运行该被控设备app，隐藏app管理软件界面，后台运行；

步骤12、利用增强现实技术将被控设备app软件界面显叠加在物理环境上显示；

请参阅图3，所述步骤20包括：

步骤21、利用增强现实智能设备上的传感器采集指尖力觉/触觉反馈设备的图像并利用图像成像原理计算指尖力觉/触觉反馈设备在传感器坐标上的位置，然后在增强现实智能设备所呈现的虚拟环境中以代理点表示指尖力觉/触觉反馈设备所在位置；

步骤22、根据代理点的位置和被控设备app软件界面在增强现实智能设备所呈现的虚拟环境中的显示方位，检测是否碰撞的过程为：若代理点接触或者穿透所述被控设备app软件界面，则发生碰撞，由所述app管理软件解析碰撞指令和碰撞点，生成鼠标指令，然后将碰撞指令和鼠标指令发送至被控设备app；

所述步骤30：被控设备app执行所述鼠标指令，生成对应的设备操作指令，将所述设备操作指令发送给被控设备，从而实现操作者与被控设备app软件界面间的人机交互；

步骤40、被控设备app还接收并解析被控设备发送的信息，然后显示在其软件界面上；

当需要退出被控设备app时，关闭被控设备app软件界面，显示app管理软件的界面。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。