[发明专利]一种基于tf-idf和倒排索引的众测助理实现方法

摘要

本发明提出了一种基于tf‑idf和倒排索引的众测助理实现方法。数据采集阶段，从百度问答中爬取问答数据集，在爬取过程中进行筛选；数据预处理阶段，对每一个问题进行分词，并计算每一个词的频率，获得每个句子的tf‑idf向量表示；输入预处理阶段，对用户的输入进行分词，若涉及到不合适的词，如敏感词，政治词，则不予返回，将用户的输入去除停用词后转化为tf‑idf向量表示；答案返回阶段，利用倒排索引获得与输入相关的候选问题，计算输入与候选问题的相似度，并将相似度最高的k个问题的答案返回给用户作为结果。本发明利用倒排索引的思想加快了查找相似问题的效率，能应对问答对增加带来的内存爆炸问题。