[发明专利]一种文本分类方法及装置

说明书

本申请公开了一种文本分类方法及装置，应用于人工智能技术领域，用以提升文本分类的效率。该方法包括：将待分类的文本进行拆分，得到多个子文本；针对不同格式的子文本采用不同的方法进行解析，确定各个子文本的类别；根据多个字文本的类别确定待分类文本的类别；其中，不同格式的子文本对应的解析方法可以是预先配置好的。相比于现有技术中采用单一的方式进行文本解析分类，本申请的方案提出了针对不同格式的子文本采用不同的解析方式，能够提升文本分类的准确率。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种文本分类方法及装置。

背景技术

目前，基于人工智能的文本分类方法是通过命名实体识别(Named EntityRecognition，NER)模型提取文本中的命名实体，判断其类别，例如判断提取的命名实体是属于人员、地名还是金额等等。然后基于判断出的类别对文本进行分类，还可以进一步将确定类别后的文本关联或者到对应的集合中。

但是，由于一些待分类的文本内容较多，且文本中不同位置的内容可能是采用不同的格式进行撰写的。例如，信用证报文中的商品描述信息，其中包括的内容比较多，比如可以包括商品名称、商品装运明细、价格条款、海关编号商品成分等等。且不同的内容采用的是不同的格式，比如商品名称可能是键值对的格式，价格条款可能是长文本的格式，商品成分可能是类表格或者列表的格式。所以在对这类的文本进行分类时，如果还是采用简单的NER模型提取命名实体效率比较低，并且需要预先采用大量的数据训练NER模型，使其能够识别不同格式的文本，成本较高。

发明内容

本申请示例性的实施方式中提供一种文本分类方法及装置，用以提升文本分类的效率。

第一方面，本申请实施例提供了一种文本分类方法，包括：

拆分待分类文本，得到至少两个子文本；

针对任意一个子文本，根据预先配置的格式与解析方式的对应关系，确定所述任意一个子文本的格式对应的解析方式，并基于确定的所述解析方式对所述任意一个子文本进行解析，确定所述任意一个子文本的类别；

基于所述至少两个子文本的类别，确定所述待分类文本的类别。

基于上述方案，首先将待分类的文本拆分开，再对拆分后得到的不同格式的子文本采用不同的解析方法分别解析确定类别。相比于现有技术中采用单一的命名实体识别的方式进行分类，效率更高。尤其是针对包括的内容多，且内容格式并不是单一格式的文本，采用上述方法可以很好的提升文本分类的速度和准确性。且不用提前训练识别模型，节约文本分类成本。

在一些实施例中，在根据预先配置的格式与解析方式的对应关系，确定所述任意一个子文本的格式对应的解析方式之前，所述方法还包括：

将所述任意一个子文本转化为子文本向量；

将所述子文本向量输入到预先训练好的循环神经网络中，获取所述子文本向量对应的每种格式的概率；

根据所述子文本向量对应的每种格式的概率确定所述任意一个子文本的格式。

在一些实施例中，所述根据所述子文本向量对应的每种格式的概率确定所述任意一个子文本的格式，包括：

将所述子文本向量对应的每种格式的概率中概率最大的格式作为所述任意一个子文本的格式；或者，

通过维特比算法，根据所述至少一个子文本中除所述任意一个子文本外其他子文本的格式和所述子文本向量对应的每种格式的概率，确定所述任意一个子文本的格式。

在一些实施例中，在将所述任意一个子文本转化为子文本向量之前，所述方法还包括：

根据预先存储的修正词汇集合，确定所述任意一个子文本中存在所述修正词汇集合中包括的待修正的词汇；所述修正词汇集合中包括所述待修正词汇和与所述待修正词汇对应的修正后词汇；