[发明专利]用于生成HMI图形的系统和方法

权利要求书

1.一种用于生成人机界面HMI图形的计算机实现的方法，所述HMI图形与实现机器学习的工业自动化系统(100)相关联，所述方法由图形对象检测模型(120)执行，所述方法包括：

接收(S402)迁移HMI图形(118)，其中所述迁移HMI图形(118)是从旧有HMI图形(114)获取的，并且其中所述迁移HMI图形(118)包括多个工业对象(102)；

使用至少一个工业对象(102)的历史HMI标记数据集(207)在所述迁移HMI图形(118)中标识(S404)至少一个丢失工业对象，其中所述至少一个工业对象(102)包括图形对象和数据对象；

校正(S406)所述迁移HMI图形(118)以包括所述至少一个丢失工业对象；

生成(S408)包括所述至少一个丢失工业对象的已校正HMI图形(122)；以及

向计算设备传输(S410)指示所述已校正HMI图形(122)的通知。

2.根据权利要求1所述的计算机实现的方法，其中在所述迁移HMI图形(118)中标识(S404)所述至少一个丢失对象包括：

使用对象识别技术在所述迁移HMI图形(118)和所述旧有HMI图形(114)中标识(S502)所述至少一个工业对象(102)；

确定(S504)所述旧有HMI图形(114)中的所标识出的工业对象与所述迁移HMI图形(118)中的所标识出的工业对象之间的差异；以及

基于所确定的差异并且使用所述至少一个工业对象(102)的所述历史HMI标记数据集(207)来在所述迁移HMI图形(118)中标识(S506)所述至少一个丢失对象。

3.根据权利要求1和2所述的计算机实现的方法，其中在所述迁移HMI图形(118)中标识所述至少一个丢失工业对象包括：

在所述迁移HMI图形(118)中获取至少一个占位符；

基于所述至少一个占位符检测所述至少一个丢失工业对象在所述迁移HMI图形(118)中的位置；以及

在所标识出的至少一个占位符周围创建(S508)至少一个边界框。

4.根据权利要求3所述的计算机实现的方法，其中所述至少一个边界框使用模板匹配和图像处理而被创建。

5.根据权利要求1至3所述的计算机实现的方法，还包括：

使用所述多个工业对象(102)之间的一对一映射来评估(S510)所标识出的至少一个丢失工业对象；以及

在所述迁移HMI图形(118)的所述至少一个相应占位符上包括(S510)所述至少一个丢失工业对象。

6.根据权利要求1-3和5所述的计算机实现的方法，其中场景文本识别技术被用于标识所述丢失工业对象。

7.根据权利要求1所述的计算机实现的方法，其中所述通知包括文本通知、声音通知和图形通知中的至少一种，并且其中所述历史HMI标记数据集(207)包括所述至少一个工业对象(102)的多个HMI标记图像。

8.根据权利要求1所述的计算机实现的方法，其中所述至少一个丢失工业对象指示至少一个工业对象在所述迁移HMI图形(118)的场景中丢失。