[发明专利]一种题目去重方法和计算设备

说明书

本发明公开了一种题目去重方法，适于对初始题组中的多道题目进行去重处理，在计算设备中执行，该方法包括：分别对初始题组中的多道题目进行预处理操作，得到第一题组；分别计算第一题组中各题目的哈希值，并对具有同一哈希值的多道题目进行去重处理，得到第二题组；分别计算第二题组中各题目的simhash值，以及各题目的simhash值与其他题目的simhash值之间的相似度；对于第二题组中的每道题目，按照相似度降序排序的方法提取预定数目个相近题目，得到第三题组；以及分别统计各题目与其各相近题目之间的字符差异，并根据差异内容对所述第三题组进行去重处理，得到目标题组。本发明公开了对应的计算设备。

技术领域

本发明涉及电子教学领域，尤其涉及一种题目去重方法和计算设备。

背景技术

随着计算机和互联网技术的发展，中小学教育，乃至大学教育中的练习和考试题目均实现了电子化存储，并可上传到网络上供学生使用，其中每个题目都会涉及特定知识点且具有特定难度。随着时间的推移，题库的题目会越来越多，而为用户呈现题目时可能会出现一些非常相似的题目，此时需要对题目进行去重处理。而作为一道完整的题目，其涉及到上下文语义、标点和数字等多种因素，去重效果可能并不好。因此需要一种能够更精确的对题目进行去重的方法，以提高用户体验。

发明内容

鉴于上述问题，本发明提出了一种题目去重方法和计算设备，以力图解决或者至少解决上面存在的问题。

根据本发明的一个方面，提供一种题目去重方法，适于对初始题组中的多道题目进行去重处理，在计算设备中执行，该方法包括：分别对初始题组中的多道题目进行预处理操作，得到第一题组；分别计算第一题组中各题目的哈希值，并对具有同一哈希值的多道题目进行去重处理，得到第二题组；分别计算第二题组中各题目的simhash值，以及各题目的simhash值与其他题目的simhash值之间的相似度；对于第二题组中的每道题目，按照相似度降序排序的方法提取预定数目个相近题目，得到第三题组；以及分别统计各题目与其各相近题目之间的字符差异，并根据差异内容对所述第三题组进行去重处理，得到目标题组。

可选地，在根据本发明的题目去重方法中，第二题组中各题目的simhash值的计算方法包括以下步骤：分别对第二题组中各题目进行分词处理，并确定每个分词的权重；分别计算各题目中每个分词的哈希值，并结合其分词权重对各哈希值进行加权处理，得到各题目中每个分词的哈希序列串；以及对于每道题目，将其所有分词的哈希序列串中位于同一序列位的数值累加，并对各累加值进行二进制转换，得到各题目的simhash值。

可选地，在根据本发明的题目去重方法中，相似度适于以海明距离、欧式距离或余弦相似度表示。

可选地，在根据本发明的题目去重方法中，对具有同一哈希值的多道题目进行去重处理的步骤包括：记录首次出现的哈希值及该哈希值所对应的题目编号；以及遍历第一题组中的各题目，当有其他题目的哈希值与已记录的哈希值相同时，则对该相同哈希值的题目进行优先级比较，并保留其中优先级最高的一道题目。

可选地，在根据本发明的题目去重方法中，计算设备中维护有差异词表，该差异词表包括各词语的同义词和各表述的同义表述，根据差异内容对所述第三题组进行去重处理的步骤包括：对于数学学科内两道simhash值相近的题目，判断其差异内容是否包含数字类差异，若是则不进行去重处理，反之则进行去重处理；对于其他学科内两道simhash值相近的题目，结合该差异词表判断其差异内容是否为同义词或同义表述，若是则进行去重处理，反之则不进行去重处理。

可选地，在根据本发明的题目去重方法中，预处理操作包括以下操作中的一种或多种：去掉网页标记、将中文字符统一转换为英文字符、将各种类型的空格转换为英文空格、将各种字符统一至同一编码、去掉停用词、去掉字符集外的乱码字符。