[发明专利]清单去重方法、装置和计算机设备

说明书

本申请提出了一种清单去重方法、装置和计算机设备，其中，上述清单去重方法包括：将待处理的保险清单中所有字段对应的字段值进行拼接；依次获取拼接获得的字符串中每个字符的第一整数值；将所述第一整数值与预先选择的质数相乘，并将相乘获得的乘积相加；使用预先初始化的存储空间所具有比特位的数量的值与相加获得的和值进行逻辑与运算，生成第二整数值；当所述存储空间中所述第二整数值所指示位置的比特值为1时，确定所述存储空间中存在所述待处理的保险清单，对所述待处理的保险清单进行去重处理。本申请可以实现减少保险清单的存储空间，提高清单去重的处理效率，降低了对机器的性能要求。

【技术领域】

本申请涉及数据处理技术领域，尤其涉及一种清单去重方法、装置和计算机设备。

【背景技术】

现有相关技术中，在对保险清单进行去重处理时，在数据量较少(例如：500以内)的情况下，一般采用直接对保险清单进行比较的方式，但这种方式耗时比较长，因此，在数据量较大时(例如：500～5000)，一般都是使用MD5加哈希(hash)的方式进行保险清单去重。

但这两种对保险清单进行去重处理的方式，对于存储和时间的消耗都是比较大的，对于保险清单数据量较大的情形，这两种方式消耗惊人，已经不是一般机器能支持得起的了。

【发明内容】

本申请实施例提供了一种清单去重方法、装置和计算机设备，以实现减少保险清单的存储空间，提高清单去重的处理效率。

第一方面，本申请实施例提供了一种清单去重方法，包括：将待处理的保险清单中所有字段对应的字段值进行拼接；依次获取拼接获得的字符串中每个字符的第一整数值；将所述第一整数值与预先选择的质数相乘，并将相乘获得的乘积相加；使用预先初始化的存储空间所具有比特位的数量的值与相加获得的和值进行逻辑与运算，生成第二整数值；当所述存储空间中所述第二整数值所指示位置的比特值为1时，确定所述存储空间中存在所述待处理的保险清单，对所述待处理的保险清单进行去重处理。

其中在一种可能的实现方式中，所述生成第二整数值之后，还包括：当所述存储空间中所述第二整数值所指示的至少一个位置的比特值为0时，确定所述存储空间中不存在所述待处理的保险清单；将所述待处理的保险清单存入所述存储空间，并将所述存储空间中所述第二整数值所指示位置的比特值均设为1。

其中在一种可能的实现方式中，所述将待处理的保险清单中所有字段对应的字段值进行拼接之前，还包括：初始化存储空间，将所述存储空间所具有的比特位的值设为0。

其中在一种可能的实现方式中，所述预先选择的质数的数量为预定数量；所述将所述第一整数值与预先选择的质数相乘，并将相乘获得的乘积相加包括：依次将所述第一整数值与预定数量的质数中的每个质数相乘，并分别将与每个质数相乘获得的乘积相加。

其中在一种可能的实现方式中，所述第二整数值的数量为所述预定数量。

其中在一种可能的实现方式中，所述对所述待处理的保险清单进行去重处理包括：拒绝将所述待处理的保险清单存入所述存储空间，提醒对所述待处理的保险清单中的信息进行检查。

第二方面，本申请实施例提供一种清单去重装置，包括：拼接模块，用于将待处理的保险清单中所有字段对应的字段值进行拼接；获取模块，用于依次获取拼接获得的字符串中每个字符的第一整数值；计算模块，用于将所述获取模块获取的第一整数值与预先选择的质数相乘，并将相乘获得的乘积相加；以及使用预先初始化的存储空间所具有比特位的数量的值与相加获得的和值进行逻辑与运算，生成第二整数值；确定模块，用于当所述存储空间中所述计算模块生成的第二整数值所指示位置的比特值为1时，确定所述存储空间中存在所述待处理的保险清单；去重模块，用于对所述待处理的保险清单进行去重处理。