[发明专利]一种基于神经网络的发票识别方法和系统

权利要求书

1.一种基于神经网络的发票识别方法，其特征在于，所述方法包括：

根据发票内容的位置区域，将发票进行分切，获得分切图；

基于第一神经网络模型识别所述分切图中的文字框；

基于所述文字框的位置区域，将所述分切图分切为文字框图；

基于第二神经网络模型识别所述文字框图中的文字；

根据所述文字框的位置区域和识别的文字获取所述分切图的拼接结果；

根据所述分切图的拼接结果，获取发票的识别结果。

2.根据权利要求1所述的发票识别方法，其特征在于，所述方法还包括发票预处理的方法：

将所述发票转换成发票图片；

将所述发票图片转正。

3.根据权利要求2所述的发票识别方法，其特征在于，所述发票图片转正的方法包括：

基于霍夫变换将所述发票图片进行倾斜矫正；

获取所述发票图片中二维码或印章的位置，根据所述二维码或印章的位置关系，获取发票图片的朝向；

根据所述发票图片的朝向，将所述发票图片转正。

4.根据权利要求3所述的发票识别方法，其特征在于，将发票进行分切，并获得分切图的方法包括：

根据所述发票内容与二维码或印章的位置关系，获取所述发票内容的位置区域；

根据所述位置区域，将所述发票图片分切成分切图。

5.根据权利要求1或4所述的发票识别方法，其特征在于，所述第一神经网络模型包括CTPN模型，获取所述CTPN模型的方法包括：

获取预设数量的发票图片样本；

按发票内容将所述发票图片样本分切，获得分切样本；

为所述分切样本设置标签，获得训练集；其中，所述标签为分切样本中的文字框坐标；

基于CTPN神经网络，对所述训练集进行训练，获得所述第一神经网络模型。

6.根据权利要求1所述的发票识别方法，其特征在于，获取所述第二神经网络模型的方法包括：

根据发票中的文字特征，建立训练样本和第二样本集；

将所述训练样本中文字的字符，作为训练样本的标签；

基于DenseNet+CTC神经网络，对所述第二样本集进行训练，获得第二神经网络模型。

7.根据权利要求1所述的发票识别方法，其特征在于，根据所述文字框和识别的文字获取上述分切图拼接结果的方法包括：

将文字框的内容与所述分切图的内容或发票内容进行匹配；

校验文字框内容与发票内容值的格式，获取分切图内容或发票内容的值。

8.根据权利要求1所述的发票识别方法，其特征在于，根据文字框的位置区域和文字获取分切图拼接结果的方法包括：

获取文字框的坐标区域；

基于横坐标或纵坐标区域，将文字框内容与分切图或发票内容进行匹配，获取第一内容；

基于横坐标或纵坐标区域，为所述第一内容匹配值，获取分切图内容或发票内容。

9.根据权利要求8所述的发票识别方法，其特征在于，还包括格式校验的方法：

根据第一内容值的格式特征，对第一内容的匹配值进行校验。

10.一种用于实现权利要求1-8任一项所述发票识别方法的系统，其特征在于，包括分切模块、第一神经网络模块、文字框图分切模块、第二神经网络模块、文字框拼接模块和分切图拼接模块，

所述分切模块用于根据发票内容的位置区域，将发票进行分切，获得分切图；

所述第一神经网络模块用于基于第一神经网络模型识别所述分切图中的文字框；

所述文字框图分切模块用于基于所述文字框的位置区域，将所述分切图分切为文字框图；

所述第二神经网络模块用于基于第二神经网络模型识别所述文字框图中的文字；

所述文字框拼接模块用于根据所述文字框和识别的文字获取所述分切图的拼接结果；

所述分切图拼接模块用于根据所述分切图的拼接结果，获取发票的识别结果。