[发明专利]具备可持续学习能力的多符号手绘草图识别方法及装置

权利要求书

1.一种具备可持续学习能力的多符号手绘草图识别方法，其特征在于实施步骤包括：

1)读入草图序列(x₁,x₂,…x_t)构成的待识别草图，将待识别草图的草图序列(x₁,x₂,…x_t)转化为笔画序列S_i,i＝1,2,…,l，l为笔画总数；

2)基于训练好的双向长短时记忆网络BiLSTM对笔画序列S_i进行属性识别形成笔画属性序列Attribute_i；

3)基于预设的笔画位置关系模型对笔画序列S_i进行空间关系建模形成笔画关系序列Relation_i；

4)将待识别草图的l个笔画构成的符号保存进入预设的符号库，形成新的库存符号Sym_mm＝(Attribute_i＝1,2…l,Relation_i＝1,2…l)；

5)结合当前符号库中的库存符号，对待识别草图的笔画属性序列Attribute_i以及笔画关系序列Relation_i基于隐马尔可夫模型进行概率推断识别得到草图识别结果并输出；

步骤3)中预设的笔画位置关系模型中第1个笔画的位置关系relation(i)的值为0、其余任意当前第i个笔画的位置关系relation(i)如式(2)所示；

式(2)中，Start(i)表示第i个笔画的起始点坐标，End(i)表示第i个笔画的终点坐标，Middle(i)表示第i笔画的中点坐标，Start(i-1)表示第i-1个笔画的起始点坐标，End(i-1)表示第i-1个笔画的终点坐标，Middle(i-1)表示第i-1个笔画的中点坐标，RD_threshold为笔画关系判别的距离阈值，函数D表示二维空间的欧氏距离；

步骤5)的详细步骤包括：

5.1)将待识别草图的l个笔画(S₁,S₂…S_l)、以及在第l笔画后外加一个终点构成的l+1个节点的隐马尔可夫序列模型HMM的笔画序列图；

5.2)在当前符号库中依次选择每一个库存符号Sym_j(j＝1,2…m)，从笔画序列图的第一个节点开始，与以当前节点开始的连续len_j个节点序列进行单符号匹配，并计算当前符号Sym_j和序列(S_i,S_i+1,…S_i+lenj-1)匹配的条件概率，并记录从节点i到节点(i+len_j-1)的路径及其对应库存符号Sym_j；其中len_j是指Sym_j的笔画数，i＝1,2,…(l+2-len_j)，l是指待识别草图的笔画数量；

5.3)基于单符号匹配生成的所有路径，搜索从第1个到第l+1个节点的所有单向通路，计算每一条通路的完整后验概率；

5.4)在所有单向通路中选择后验概率最小的通路，该条通路中的多条路径对应待识别草图的符号分割，该路径对应的库存匹配符号即为该符号识别结果；

5.5)将所有符号识别结果构成的草图识别结果(sketch₁,sketch₂,…sketch_k)输出，其中sketch₁,sketch₂,…sketch_k为将草图顺序分割得到的k个连续符号；

步骤5.2)中条件概率的计算函数表达式如式(3)所示；

式(3)中，P(Sym_i|Sym_j)表示两个笔画数均为r的符号Sym_i和Sym_j之间符号相似度的判别条件概率，sym_attribute(i,rr)，sym_ralation(i,rr)分别表示符号Sym_i中r维属性序列和关系序列的第rr个元素，sym_attribute(j,rr)，sym_ralation(j,rr)分别表示符号Sym_j中r维属性序列和关系序列的第rr个元素，r表示符号Sym_i和Sym_j两者笔画属性序列Attribute_i的维度，rr表示符号Sym_i和Sym_j两者笔画关系序列Relation_i的维度。