[发明专利]计算词的TF-IDF值的方法、装置、设备及存储介质

说明书

本申请公开了一种计算词的TF‑IDF值的方法、装置、设备及存储介质，包括：根据目标词遍历树形数据结构的根节点下的子节点，确定出目标子节点；获取该目标子节点对应的目标集合，该目标集合中包括有文本标识以及该目标词在该文本标识对应的文本中的TF值；根据该目标集合中所包括的文本标识的数量以及该根节点所指示的文本总数，确定出该目标词的IDF值，进而计算出该目标词的TF‑IDF值。可见，在确定该目标词对应的目标集合后，可以直接确定出文本库中存在哪些文本包含该目标词以及该目标词在每个文本中的TF值，从而可以有效减少确定这些文本所需消耗的计算资源，提高确定目标词对应的TF‑IDF值的效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种计算词的TF-IDF值的方法、装置、设备及存储介质。

背景技术

智能问答，被重要应用于人工智能领域中，相较于传统的客服系统而言，具有高效率、低成本等诸多优势。目前，越来越多的企业，使用智能问答系统为用户提供对话服务。

智能问答系统在与用户进行智能对话时，通常需要针对于用户提出的问题，根据该问题中所包含的关键词在文本库中的词频-逆文本频率(term frequency–inversedocument frequency，TF-IDF)值从文本库中确定出相应的答案。但是，随着智能问答系统的文本库的不断增加，计算关键词的TF-IDF值所需的计算量也随之增加，从而使得智能问答系统在根据关键词的TF-IDF值确定答案的过程中，需要消耗较大的计算资源。

发明内容

本申请实施例提供了一种计算词的TF-IDF值的方法、装置、设备及存储介质，以减少计算词的TF-IDF值所需的计算量。

第一方面，本申请实施例提供了一种计算词的TF-IDF值的方法，所述方法包括：

根据第一目标词遍历树形数据结构的根节点下的子节点，确定出第一目标子节点，所述第一目标子节点所指示的分词为所述第一目标词；

获取所述第一目标子节点对应的第一目标集合，所述第一目标集合包括第一文本标识以及所述第一目标词在所述第一文本标识对应的文本中的第一词频TF值，不同第一文本标识所对应的文本互不相同；

根据所述第一目标集合中所包括的第一文本标识的数量以及所述根节点所指示的文本总数，确定出所述第一目标词的第一逆文本频率IDF值；

根据所述第一TF值以及所述第一IDF值，计算出所述第一目标词对应的TF-IDF值。

在一种可能的实施方式中，所述方法还包括：

根据第二目标词遍历所述第一目标子节点下的虚拟子节点，确定出第一虚拟子节点，所述第一虚拟子节点的指针指向所述根节点下的第二目标子节点，所述第二目标子节点所指示的分词为所述第二目标词，所述第二目标词与所述第一目标词在同一文本中连续；

获取所述第二目标子节点对应的第二目标集合，所述第二目标集合包括第二文本标识以及所述第二目标词在所述第二文本标识对应的文本中的第二TF值，不同第二文本标识所对应的文本互不相同；

根据所述第二目标集合中所包括的第二文本标识的数量以及所述根节点所指示的文本总数，确定出所述第二目标词的第二IDF值；

根据所述第二TF值以及所述第二IDF值，计算出所述第二目标词对应的TF-IDF值。

在一种可能的实施方式中，所述第一目标词与所述第二目标词为分词集合中的分词，所述分词集合是通过对问题文本进行分词处理而得到，所述方法还包括：

确定每个所述第一文本标识对应的文本的关键词集合以及每个第二文本标识对应的文本的关键词集合，所述关键词集合中的每个关键词所对应的TF-IDF值均不低于所述文本中其它分词对应的TF-IDF值，所述关键词集合包括所述第一目标词和/或所述第二目标词；