[发明专利]具备可持续学习能力的多符号手绘草图识别方法及装置

说明书

本发明公开了一种具备可持续学习能力的多符号手绘草图识别方法及装置，本发明将多符号草图的每个图形符号看作是由多个单笔画基元构成的图形，用户预先绘制单符号草图，系统会基于长短时记忆网络识别每个笔画基元，并对符号的空间构成关系建模，将用户绘制的笔画构成及其空间关系存入符号库中；当用户绘制多符号草图时，基于长短时记忆网络在线识别每个笔画基元类型并对笔画之间的空间位置关系进行建模，根据用户输入的笔画序列和关系序列构建一个隐马尔可夫链，并结合之前构建的符号库进行多符号草图在线推断和识别。本方法支持用户自定义符号库并随时进行符号库增加和删除等更新操作，具备多符号草图在线识别和可持续学习能力。

技术领域

本发明涉及移动终端上的轨迹识别技术，具体涉及一种具备可持续学习能力的多符号手绘草图识别方法及装置。

背景技术

近年来，随着各种移动终端设备(包括平板电脑，手写板，绘画板，智能手机等)的日益普及，手写输入已经成为越来越重要的人机交互方式。一图胜千言，相对于文字等表达方式，手绘草图能够更直观、简洁、形象地表达多种信息，尤其是在军事态势图标绘、机械制图等应用领域，基于草图的交互方式起着不可替代的重要作用。相比于传统的WIMP(Windows窗口，Icon按钮，Menu菜单，Point device点选)风格的图形交互方式，基于草图的交互具有简明直观、易学易用、符合人类思维模式的独特优势。基于草图的人机交互关键问题就是手绘草图识别。手绘草图识别是将用户在电子输入板上绘制的不同风格的模糊草图映射为精确的图形类别的过程，即从交互过程中不断获取笔画信息，挖掘草图特征，从不规则的，模糊的，具有不确定性的草图中理解用户意图，并识别处特定草图类型。因此，如何实现手绘草图识别，并且允许用户在使用过程中不断更新符号库，具备持续学习能力，更好地满足各类用户需求，已经成为一项亟待解决的关键技术问题。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种具备可持续学习能力的多符号手绘草图识别方法及装置，本发明针对多符号以及小样本条件下的草图识别，采用数据驱动方法识别笔画基元，结合手绘草图的绘制过程信息和整体图像信息对草图进行建模，在此基础上，采用隐马尔可夫概率模型对多符号草图进行在线概率推断，生成使得后验概率最大的多符号分割和识别结果，具有识别精度和准确率高、模型泛化能力强、具备可持续学习能力以及小样本学习能力的优点。

为了解决上述技术问题，本发明采用的技术方案为：

一种具备可持续学习能力的多符号手绘草图识别方法，实施步骤包括：

1)读入草图序列(x₁,x₂,…x_t)构成的待识别草图，将待识别草图的草图序列(x₁,x₂,…x_t)转化为笔画序列S_i＝(x₁,x₂,…x_ni),i＝1,2…l；

2)基于训练好的双向长短时记忆网络BiLSTM对笔画序列S_i进行属性识别形成笔画属性序列Attribute_i；

3)基于预设的笔画位置关系模型对笔画序列S_i进行空间关系建模形成笔画关系序列Relation_i；

4)将待识别草图的l个笔画构成的符号保存进入预设的符号库，形成新的库存符号Sym_mm＝(Attribute_i＝1,2…l,Relation_i＝1,2…l)；

5)结合当前符号库中的库存符号，对待识别草图的笔画属性序列Attribute_i以及笔画关系序列Relation_i基于隐马尔可夫模型进行概率推断识别得到草图识别结果并输出。