[发明专利]数据格式的外置校验方法、装置、计算机设备及存储介质

说明书

本发明公开了数据格式的外置校验方法、装置、计算机设备及存储介质。该方法接收第二上传端所上传的待进行格式校验的当前数据源；将所述当前数据源中各数据进行关键值提取的预处理，得到与所述当前数据源中各数据对应的特征向量；将所述当前数据源中各数据对应的特征向量输入至卷积神经网络，得到所述当前数据源中各数据对应的格式校验结果；以及将所述格式校验结果发送至所述第二上传端。该方法实现了由外置的服务器专用于对上传的数据进行格式校验，而且能由服务器中存储的卷积神经网络对数据源中的错误数据格式进行及时发现，提高了海量数据格式校验的效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据格式的外置校验方法、装置、计算机设备及存储介质。

背景技术

目前，用户端与服务器之间、服务器与服务器之间的数据交互越来越频繁。例如，当第一服务器将数据源发送至第二服务器之前，一般是第二服务器的本地中预先部署用于数据格式校验的代码，而且只能校验预定的错误格式判断，若需加入新的错误数据格式判断方式，则需要修改第二服务器的本地部署代码并重新发布，导致整个部署流程繁琐，从而降低了海量数据格式校验的效率。

发明内容

本发明实施例提供了一种数据格式的外置校验方法、装置、计算机设备及存储介质，旨在解决现有技术中服务器需预先部署代码中对数据源进行数据格式的校验，而且只能校验预定的错误格式判断，若需加入新的错误数据格式判断方式，需修改代码后重新发布，导致效率低下的问题。

第一方面，本发明实施例提供了一种数据格式的外置校验方法，其包括：

接收第一上传端所上传的历史数据源；

通过用于校验格式的第一校验脚本对所述历史数据源进行数据格式校验，得到通过校验的第一数据集合和未通过校验的第二数据集合；

将所述第一校验脚本待编辑的第一通知信息及所述第二数据集合发送至第一上传端；

接收第一上传端所上传的第二校验脚本，通过用于校验格式的第二校验脚本对所述第二数据集合进行数据格式校验，得到通过校验的第一子数据集合和未通过校验的第二子数据集合；

将所述第二子数据集合中各数据进行关键值提取的预处理，得到与所述第二子数据集合中各数据对应的特征向量；

将与所述第二子数据集合中各数据对应的特征向量作为待训练卷积神经网络的输入，将各特征向量对应的标注值作为待训练卷积神经网络的输出，以对训练卷积神经网络进行训练，得到用于识别错误数据格式的卷积神经网络；

接收第二上传端所上传的待进行格式校验的当前数据源；

将所述当前数据源中各数据进行关键值提取的预处理，得到与所述当前数据源中各数据对应的特征向量；

将所述当前数据源中各数据对应的特征向量输入至卷积神经网络，得到所述当前数据源中各数据对应的格式校验结果；以及

将所述格式校验结果发送至所述第二上传端。

第二方面，本发明实施例提供了一种数据格式的外置校验装置，其包括：

第一接收单元，用于接收第一上传端所上传的历史数据源；

第一校验单元，用于通过用于校验格式的第一校验脚本对所述历史数据源进行数据格式校验，得到通过校验的第一数据集合和未通过校验的第二数据集合；

通知单元，用于将所述第一校验脚本待编辑的第一通知信息及所述第二数据集合发送至第一上传端；

第二校验单元，用于接收第一上传端所上传的第二校验脚本，通过用于校验格式的第二校验脚本对所述第二数据集合进行数据格式校验，得到通过校验的第一子数据集合和未通过校验的第二子数据集合；