[发明专利]计算词的TF-IDF值的方法、装置、设备及存储介质

权利要求书

1.一种计算词的TF-IDF值的方法，其特征在于，所述方法包括：

根据第一目标词遍历树形数据结构的根节点下的子节点，确定出第一目标子节点，所述第一目标子节点所指示的分词为所述第一目标词；

获取所述第一目标子节点对应的第一目标集合，所述第一目标集合包括第一文本标识以及所述第一目标词在所述第一文本标识对应的文本中的第一词频TF值，不同的第一文本标识所对应的文本互不相同；

根据所述第一目标集合中所包括的第一文本标识的数量以及所述根节点所指示的文本总数，确定出所述第一目标词的第一逆文本频率IDF值；

根据所述第一TF值以及所述第一IDF值，计算出所述第一目标词对应的TF-IDF值。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据第二目标词遍历所述第一目标子节点下的虚拟子节点，确定出第一虚拟子节点，所述第一虚拟子节点的指针指向所述根节点下的第二目标子节点，所述第二目标子节点所指示的分词为所述第二目标词，所述第二目标词与所述第一目标词在同一文本中连续；

获取所述第二目标子节点对应的第二目标集合，所述第二目标集合包括第二文本标识以及所述第二目标词在所述第二文本标识对应的文本中的第二TF值，不同的第二文本标识所对应的文本互不相同；

根据所述第二目标集合中所包括的第二文本标识的数量以及所述根节点所指示的文本总数，确定出所述第二目标词的第二IDF值；

根据所述第二TF值以及所述第二IDF值，计算出所述第二目标词对应的TF-IDF值。

3.根据权利要求2所述的方法，其特征在于，所述第一目标词与所述第二目标词为分词集合中的分词，所述分词集合是通过对问题文本进行分词处理而得到，所述方法还包括：

确定每个所述第一文本标识对应的文本的关键词集合以及每个第二文本标识对应的文本的关键词集合，所述关键词集合中的每个关键词所对应的TF-IDF值均不低于所述文本中其它分词对应的TF-IDF值，所述关键词集合包括所述第一目标词和/或所述第二目标词；

将目标关键词集合所对应的文本确定为所述问题文本对应的答案文本，所述目标关键词集合与所述分词集合之间的相似度高于其它关键词集合与所述分词集合之间的相似度。

4.根据权利要求3所述的方法，其特征在于，所述关键词集合中所包括的关键词数量不超过所述分词集合中所包括的分词数量。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将待处理文本进行分词，得到所述待处理文本的分词集合，所述分词集合至少包括第一分词，所述待处理文本为文本库中的任一文本或待添加至所述文本库中的新增文本；

当所述树形数据结构的根节点下的子节点所指示的分词中不包括所述第一分词时，在所述树形数据结构的根节点下创建第一子节点以及所述第一子节点对应的集合，所述第一子节点所指示的分词为所述第一分词，并在所述第一子节点对应的集合中添加所述待处理文本的文本标识以及所述第一分词在所述待处理文本中的第一TF值；

当所述根节点下的子节点中存在第一子节点所指示的分词为所述第一分词时，在所述第一子节点对应的集合中添加所述待处理文本的文本标识以及所述第一分词在所述待处理文本中的第一TF值。

6.根据权利要求5所述的方法，其特征在于，所述待处理文本的分词集合还包括第二分词，所述第二分词与所述第一分词在所述待处理文本中连续，所述方法还包括：

当所述第一子节点下的虚拟子节点所指示的分词中不包含所述第二分词时，在所述第一子节点下创建目标虚拟子节点，并为所述目标虚拟子节点建立指向所述根节点下的第二子节点的指针，所述第二子节点所指示的分词为所述第二分词，并在所述第二子节点对应的集合中添加所述待处理文本的文本标识以及所述第二分词在所述待处理文本中的第二TF值；

当所述第一子节点下的虚拟子节点中存在目标虚拟子节点所指示的分词为所述第二分词时，在所述目标虚拟子节点的指针指向的第二子节点所对应的集合中，添加所述待处理文本的文本标识以及所述第二分词在所述待处理文本中的第二TF值。