[发明专利]天城文分词和识别方法、装置、电子设备和存储介质

说明书

本发明提供一种天城文分词和识别方法、装置、电子设备和存储介质，其中分词方法包括：获取待分词的天城文文本的字符序列；基于所述字符序列中当前字符的类型以及所述当前字符之后的字符的类型，对所述当前字符及其之后的字符进行分词，并将分词所得子词中的最尾字符在所述字符序列中的下个字符更新为当前字符进行分词，直至分词完成。本发明实施例提供的天城文分词和识别方法、装置、电子设备和存储介质，在分析整理了基础单元结构的基础上，提出了适合天城文语言结构特性的分词规则，既考虑当前字符的类型，也考虑当前字符之后的字符的类型，由此确定字符序列中一段字符的语言结构，据此进行分词。

技术领域

本发明涉及文本识别技术领域，尤其涉及一种天城文分词和识别方法、装置、电子设备和存储介质。

背景技术

多语种文本识别对于人类之间和人机之间信息沟通无障碍具有重要的支撑作用。文本识别技术一般需要通过分词得到词表，借助词表来对句子进行表示。

现有技术中，分词方法主要是针对英语或中文语种，其文本句子大多是以单词为单位，且字形结构规整没有复合书写、连写等现象。

然而，印地语属于元音附标型文字，采用天城文书写。其字符间粘连程度较为普遍，且元音、辅音之间有不同的复合书写规则，导致其字形结构比较多变。现有的分词方法并不适用于印地语场景，导致印地语文本识别准确率不高。

发明内容

本发明提供一种天城文分词和识别方法、装置、电子设备和存储介质，用以解决现有技术中的分词方法不适用于印地语，导致印地语文本识别准确率不高的缺陷。

本发明提供一种天城文分词方法，包括：

获取待分词的天城文文本的字符序列；

基于所述字符序列中当前字符的类型，以及所述当前字符之后的字符的类型，对所述当前字符及其之后的字符进行分词，并将分词所得子词中的最尾字符在所述字符序列中的下个字符更新为当前字符进行分词，直至分词完成。

根据本发明提供的一种天城文分词方法，所述基于所述字符序列中当前字符的类型，以及所述当前字符之后的字符的类型，对所述当前字符及其之后的字符进行分词，包括：

若所述字符序列中当前字符的类型为辅音，且所述当前字符之后首字符的类型为非空字符，则将所述当前字符及其之后的首字符合写为一个子词，所述非空字符为辅音和元音消除符之外的字符。

根据本发明提供的一种天城文分词方法，所述基于所述字符序列中当前字符的类型，以及所述当前字符之后的字符的类型，对所述当前字符及其之后的字符进行分词，包括：

若所述字符序列中当前字符的类型为辅音，且所述当前字符之后首字符的类型为元音消除符，则将所述当前字符及其之后的首字符按照元音消除符合写结构进行合写，并将合写后的字符更新为所述当前字符，并对所述当前字符及其之后的字符进行分词。

根据本发明提供的一种天城文分词方法，所述基于所述字符序列中当前字符的类型，以及所述当前字符之后的字符的类型，对所述当前字符及其之后的字符进行分词，包括：

若所述字符序列中当前字符的类型为辅音，且所述当前字符之后首字符的类型为辅音，第二个字符的类型为元音消除符，则确定所述当前字符的结构；

若所述当前字符的结构为元音消除符合写结构，则将所述当前字符及其之后的首字符和第二个字符合写后更新为所述当前字符，否则将所述当前字符及其之后的首字符合写为一个子词。

根据本发明提供的一种天城文分词方法，所述基于所述字符序列中当前字符的类型，以及所述当前字符之后的字符的类型，对所述当前字符及其之后的字符进行分词，包括：

若所述字符序列中当前字符的类型为辅音，且所述当前字符之后首字符的类型为辅音，第二个字符的类型为元音，则将所述当前字符及其之后的首字符合写为一个子词。