[发明专利]处理多节点数据传递错误的方法、装置、设备及可读介质

说明书

本发明提供了一种处理多节点数据传递错误的方法、装置、设备及可读介质，该方法包括：获取节点中的源数据，并将源数据按照属性信息转换成表格；基于节点属性判断表格中的数据中是否存在重复数据；响应于表格中的数据中存在重复数据，将重复数据添加到反馈列表中并进行报警。通过使用本发明的方案，能够增加数据传递的准确性，增加了数据筛选和除错的工作效率，降低了数据传递错误的风险，提高用户的体验感，提高产品竞争力。

技术领域

本领域涉及计算机领域，并且更具体地涉及一种处理多节点数据传递错误的方法、装置、设备及可读介质。

背景技术

当今社会是一个数据与信息广泛传播的社会，在传输数据时，数据的来源大多来自第三方公司或个人，因此数据源的数据质量存在很大的不确定性。在应用层，数据一般以json或XML等形式表达、存储和传输。以天气信息为例，我国存在有2000多个城市，在某天气信息网站发布天气数据时，每个城市的天气信息包含消息ID、城市ID、城市名称、温度、等信息。按照正常逻辑，每个城市都有自己独有的城市ID号(CITY_ID)，一般不会发生城市天气信息错误的情况，但实际中第三方网站提供的天气信息中存在丢失、重复和错误的现象。

数据丢失主要体现每次传输过来的我国整体城市天气信息提供不全，会在某些时段丢掉一些城市的天气信息，尤其以小城市居多。数据重复主要体现同一个城市，会在一条完成的全国城市天气信息数据中传输多次。数据错误主要因为我国存在多个城市名称相同的情况，例如我国就有2个九龙，香港九龙和四川九龙，虽然名称一样，但经常会出现，天气数据错误交换的现象。

数据的丢失、重复和错误在社会化大生产的环境中广泛存在，例如：新闻和短视频也存在上述问题，一条新闻包括索引ID、消息ID、新闻标题、新闻摘要、新闻内容等。老的新闻会更换一个新的索引ID或消息ID，在新闻标题不变的情况下，进行2次推送导致新闻数据重复，用户收到没有过滤的信息会降低阅读体验。短视频领域的推荐算法中也存在类似的推送数据重复问题。

当前数据处理现状为在数据传输中，由于数据源大都来自于数据收集，在多节点传输中人为或其他因素，会发生的数据错误、丢失或重复等问题，在各行各业时有发生。但在数据量无法达到大数据的量级，通过重量级数据处理系统处理问题会浪费资源，数据的异常因此经常被忽视，大多采用人工方式进行纠错，但很难从大量数据中快速并有效检查出错误、重复或丢失的数据。

发明内容

有鉴于此，本发明实施例的目的在于提出一种处理多节点数据传递错误的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够增加数据传递的准确性，增加了数据筛选和除错的工作效率，降低了数据传递错误的风险，提高用户的体验感，提高产品竞争力。

基于上述目的，本发明的实施例的一个方面提供了一种处理多节点数据传递错误的方法，包括以下步骤：

获取节点中的源数据，并将源数据按照属性信息转换成表格；

基于节点属性判断表格中的数据中是否存在重复数据；

响应于表格中的数据中存在重复数据，将重复数据添加到反馈列表中并进行报警。

根据本发明的一个实施例，还包括：

响应于表格中的数据中不存在重复数据，判断表格中的数据中是否存在错误数据；

响应于表格中的数据中存在错误数据，将错误数据添加到反馈列表中并进行报警。

根据本发明的一个实施例，还包括：

响应于表格中的数据中不存在错误数据，判断表格中的数据中是否存在新增和/或丢失数据；

响应于表格中的数据中存在新增和/或丢失数据，将新增和/或丢失数据添加到反馈列表中并进行报警。