[发明专利]一种基于主题信息的文本切割方法

权利要求书

1.一种基于主题信息的文本切割方法，其特征在于，包括以下步骤：

步骤1，对输入文本以及训练集进行预处理，获得一系列单词组成的句子；

步骤2，对步骤1得到的句子进行特征提取，得到每个句子的句向量；

步骤3，利用步骤2获得的输入文本的特征向量，根据其蕴含的语义信息对输入文本进行聚类操作，得到一系列句子簇，并为每个簇按顺序分配一个数字标签，得到一系列带有数字标签的单句；

步骤4，利用训练集训练分类器，将步骤2得到的输入文本的特征向量使用分类器进行分类，为每一个句子分配一个训练集中已有的主题标签，使得训练集中已有的主题标签分配至文本中的所有句子，得到分配了主题标签的单句；

步骤5，对步骤3得到的带有数字标签的单句和步骤4得到的已分配主题标签的单句进行综合进行修正，得到带主题标签的文本片段，修正的具体操作如下：

501，将步骤4中的分类结果与步骤3中的聚类结果按顺序进行一一配对，对于聚类结果中的每个数字标签，统计其对应的分类主题标签及每个主题标签的个数，并将数字标签和与其对应的出现最多次数的分类主题标签进行对应，构成一个查询字典；

502，将分类主题标签按照步骤501所得查询字典进行映射，映射结果为一个标号集合，对所述标号集合与聚类结果得到的标号集合进行异或操作，得到一个0-1向量；

503，根据步骤502所得0-1向量对分类得到的主题标签进行修正：对于异或操作得到的结果中的所有的1，对其左侧句子和右侧句子分别进行分析，如果两边的结果均为0，且标签一致，则将对于异或操作结果为1位置处句子的标签更正为其左右句子的标签；如果两侧结果均为0，但标签不同，则对于异或操作得到结果为1位置处的句子单独归属为一个类；如果两侧有一个1，则以0一侧的标签为准进行修正；如果两侧均为1，则不进行任何操作；循环执行503，直至结果不再发生变动，得到稳态结果；

504，根据503得到的稳态结果，每一个句子都被分配了一个单独的数字标签，数字标签并对应着一个主题标签，并且每一个主题标签只会在相邻的几个句子之间出现，根据句子主题标签发生改变的边界，对文本进行切割，即可得到带主题标签的文本片段。

2.根据权利要求1所述的基于主题信息的文本切割方法，其特征在于，步骤1中，所述预处理是将输入文本按照句子结尾标点符号进行划分，获得一系列单独的句子，并对所得单独的句子进行分词。

3.根据权利要求2所述的基于主题信息的文本切割方法，其特征在于，步骤1中，所述句子结尾标点符号包括所有可以用于中文单句结尾处的标点符号。

4.根据权利要求2所述的基于主题信息的文本切割方法，其特征在于，步骤1中，需要去除单独句子中的数字、停用词、标点符号以及所有非中文字符；所述句子的格式为：每一行为一系列单词，单词之间使用空格隔开。

5.根据权利要求1所述的基于主题信息的文本切割方法，其特征在于，从经过步骤1预处理得到的文本中提取一部分句子作为训练集，训练集的格式为：句子-主题标签，其中句子和主题标签均为中文文本。