[发明专利]BOM文本的分词方法、装置、设备及存储介质

权利要求书

1.一种BOM文本的分词方法，其特征在于，包括步骤：

获取待分词的BOM文本数据，对所述BOM文本数据进行中英文拆分处理，得到切割文本集；

读取所述切割文本集中的切割文本；

判断所述切割文本是否为中文文本；

若为中文文本，则根据预置jieba函数，对所述切割文本进行分词处理，得到切割分词集，以及将所述切割分词集确定为分词数据；

若不为中文文本，则根据的预置英文数字校验筛选算法，对所述切割文本进行筛选拆分处理，得到英文数字的分词数据；

将所有的分词数据组合为分词数据集，将所述分词数据集确定为所述BOM文本数据的分词结果；

其中，所述根据的预置英文数字校验筛选算法，对所述切割文本进行筛选拆分处理，得到英文数字的分词数据包括：

读取所述切割文本的字符数，读取预置筛选词典；

判断所述字符数是否小于预置文本长度阈值；

若小于文本长度阈值，则判断所述字符数是否为大于预置整体拆分阈值；

若大于预置整体拆分阈值，则根据预置独立拆分算法，对所述切割文本进行数字英文独立拆分处理，得到英文数字独立组合的分词数据；

若不大于预置整体拆分阈值，则根据预置整体拆分算法和所述筛选词典，对所述切割文本进行数字英文整体拆分处理，得到英文数字整体组合的分词数据；

若未小于文本长度阈值，则根据预置字符比例算法和所述筛选词典，对所述切割文本进行比例拆分处理，得到英文数字的分词数据。

2.根据权利要求1所述的BOM文本的分词方法，其特征在于，所述根据预置字符比例算法和所述筛选词典，对所述切割文本进行比例拆分处理，得到英文数字的分词数据包括：

读取预置分割字符集，根据所述分割字符集，对所述切割文本进行全切分处理，得到全切分字符集；

将所述全切分字符集中全切分字符与所述筛选词典进行匹配筛选，得到N个全切分匹配字符，其中，N为非负整数；

统计N个全切分匹配字符占所述全切分字符集的比例值；

判断所述比例值是否超过预置比例阈值；

若超过比例阈值，则将所述全切分字符集确定为英文数字的分词数据；

若未超过比例阈值，则将所述切割文本确定为英文数字的分词数据。

3.根据权利要求1所述的BOM文本的分词方法，其特征在于，所述根据预置整体拆分算法和所述筛选词典，对所述切割文本进行数字英文整体拆分处理，得到英文数字整体组合的分词数据包括：

根据所述筛选词典中的筛选词匹配所述切割文本中的字符数据，得到匹配结果；

基于所述匹配结果，对所述切割文本进行数字英文整体拆分处理，得到英文数字相互独立的分词数据。

4.根据权利要求3所述的BOM文本的分词方法，其特征在于，所述基于所述匹配结果，对所述切割文本进行数字英文整体拆分处理，得到英文数字相互独立的分词数据包括：

判断所述匹配结果是否存在匹配成功的字符数据；

若存在，则将所述切割文本确定为英文数字的分词数据；

若不存在，则将所述切割文本剔除，不作为分词数据。

5.根据权利要求1所述的BOM文本的分词方法，其特征在于，所述根据预置独立拆分算法，对所述切割文本进行数字英文独立拆分处理，得到英文数字独立组合的分词数据包括：

识别所述切割文本中的数字字符；

基于所述数字字符的位置，对所述切割文本进行拆分处理，得到英文数字独立组合的分词数据。

6.根据权利要求1所述的BOM文本的分词方法，其特征在于，所述判断所述切割文本是否为中文文本包括：

根据预置字母数字正则表达式，对所述切割文本中进行匹配处理，判断所述切割文本是否存在匹配的字符。