[发明专利]一种信息处理方法、装置、电子设备及计算机存储介质

说明书

本发明实施例公开了一种信息处理方法、装置、电子设备及计算机存储介质，词频‑逆文件频率(TF‑IDF)可用于评估字词对于某文件的重要程度，在当前的做法中，仅将各字词作为独立的元素，使得采用当前做法得到的TF‑IDF值进行文本分类和信息检索的准确度较低。本发明实施例通过获取文本信息中的每个文本词在该文本信息中的同义词，并根据该文本词和该文本词的同义词得到该文本词的第一同义词集合，进而基于该第一同义词集合，得到该文本信息的第二同义词集合，最后计算得到该第二同义词集合的TF‑IDF值。由于考虑了文本信息中文本词之间的同义词关系，进一步的，基于该TF‑IDF值，可以提高文本分类或信息检索的准确度。

技术领域

本发明涉及互联网技术领域，尤其涉及一种信息处理方法、装置、电子设备及计算机存储介质。

背景技术

词频-逆文件频率(Term Frequency-Inverse Document Frequency，TF-IDF)是一种用于文本分类和信息检索的加权技术，TF-IDF可以用于评估字词对于某文件集或某语料库中的其中一份文件的重要程度。字词的重要性随着该字词在该文件中出现的次数成正比增加，但同时会随着该字词在语料库中出现的频率成反比下降。

在当前的做法中，仅将各个字词作为独立的元素并计算其TF-IDF值，使得采用当前做法得到的TF-IDF值进行文本分类和信息检索的准确度较低。

发明内容

本发明实施例公开了一种信息处理方法、装置、电子设备及计算机存储介质，可以得到文本信息包括的同义词集合的TF-IDF值，进一步地，有利于提高文本分类和信息检索的准确度。

第一方面，本发明实施例公开了信息处理方法，该方法可以包括：接收信息处理请求，所述信息处理请求包括多个文本信息，各个所述文本信息包括至少一个文本词；根据所述多个文本信息包括的文本词，得到关于所述文本词的第一同义词集合，所述第一同义词集合包括所述文本词以及所述文本词的至少一个同义词；针对各个所述文本信息，确定所述文本信息的第一系数，所述第一系数与包含所述文本信息中的文本词的第二同义词集合相对应，所述第一同义词集合包括所述第二同义词集合，所述第一系数用于建立所述第二同义词集合和所述文本信息之间的线性表示关系；根据所述文本信息的第一系数，得到所述第二同义词集合的词频-逆文件频率。

在一种实现方式中，所述信息处理请求还包括目标同义词集合的目标数量，所述根据所述文本信息的第一系数，得到所述第二同义词集合的词频-逆文件频率之后，所述方法还可以包括：从所述第二同义词集合中确定满足所述目标数量且词频-逆文件频率较大的目标同义词集合。

在一种实现方式中，所述确定所述文本信息的第一系数的具体实施方式可以为：获取所述文本信息中各个文本词的词频，所述文本词的词频用于建立所述文本词和所述文本信息之间的线性表示关系；获取包含各个所述文本词的第二同义词集合；针对各个所述第二同义词集合，根据所述第二同义词集合针对各个所述文本词的第二系数和所述文本词的词频，得到所述第二同义词集合的第一系数。

在一种实现方式中，所述根据所述第二同义词集合针对各个所述文本词的第二系数和所述文本词的词频，得到所述第二同义词集合的第一系数之前，所述方法还可以包括：针对所述文本信息中的各个文本词，确定所述文本词的第一向量；根据所述文本词的第一向量，得到包含所述文本词的第三同义词集合的第二向量，所述第二同义词集合包括所述第三同义词集合；根据所述文本词的第一向量和所述第三同义词集合的第二向量，得到所述文本词和所述第三同义词集合之间的余弦相似度；根据所述余弦相似度，得到所述第三同义词集合针对所述文本词的第二系数。