[发明专利]数据格式的外置校验方法、装置、计算机设备及存储介质

权利要求书

1.一种数据格式的外置校验方法，其特征在于，包括：

接收第一上传端所上传的历史数据源；

通过用于校验格式的第一校验脚本对所述历史数据源进行数据格式校验，得到通过校验的第一数据集合和未通过校验的第二数据集合；

将所述第一校验脚本待编辑的第一通知信息及所述第二数据集合发送至第一上传端；

接收第一上传端所上传的第二校验脚本，通过用于校验格式的第二校验脚本对所述第二数据集合进行数据格式校验，得到通过校验的第一子数据集合和未通过校验的第二子数据集合；

将所述第二子数据集合中各数据进行关键值提取的预处理，得到与所述第二子数据集合中各数据对应的特征向量；

将与所述第二子数据集合中各数据对应的特征向量作为待训练卷积神经网络的输入，将各特征向量对应的标注值作为待训练卷积神经网络的输出，以对训练卷积神经网络进行训练，得到用于识别错误数据格式的卷积神经网络；

接收第二上传端所上传的待进行格式校验的当前数据源；

将所述当前数据源中各数据进行关键值提取的预处理，得到与所述当前数据源中各数据对应的特征向量；

将所述当前数据源中各数据对应的特征向量输入至卷积神经网络，得到所述当前数据源中各数据对应的格式校验结果；以及

将所述格式校验结果发送至所述第二上传端。

2.根据权利要求1所述的数据格式的外置校验方法，其特征在于，所述将所述格式校验结果发送至所述第二上传端之后，还包括：

以所述当前数据源中各数据对应的格式校验结果中验证通过数据总数除以所述当前数据源的数据总数，得到预判断通过率。

3.根据权利要求2所述的数据格式的外置校验方法，其特征在于，所述以所述当前数据源中各数据对应的格式校验结果中验证通过数据总数除以所述当前数据源的数据总数得到预判断通过率之后，还包括：

接收第二上传端所上传的当前校验脚本，通过用于校验格式的当前校验脚本对所述当前数据源进行数据格式校验，得到通过校验的第三子数据集合、以及通过校验的数据占比率；

判断所述数据占比率是否低于所述预判断通过率；

若所述数据占比率低于所述预判断通过率，发送所述当前校验脚本未达到校验目标的第二通知信息至第二上传端；

若所述数据占比率未低于所述预判断通过率，发送所述当前校验脚本已达到校验目标的第三通知信息至第二上传端。

4.根据权利要求3所述的数据格式的外置校验方法，其特征在于，所述接收第一上传端所上传的历史数据源之后，还包括：

将所述历史数据源缓存至以历史数据源的流水号为识别名称对应创建的缓存区域；其中，所述历史数据源的流水号包括上传时间及数据量大小。

5.根据权利要求1-4任一项所述的数据格式的外置校验方法，其特征在于，所述将所述第二子数据集合中各数据进行关键值提取的预处理，得到与所述第二子数据集合中各数据对应的特征向量，包括：

获取所述第二子数据集合中各数据对应的数据内容；

将各数据对应的数据内容中与预设的关键字段列表中有关键字段相同的字段值进行提取，以串接成与所述第二子数据集合中各数据对应的特征向量。

6.根据权利要求1-4任一项所述的数据格式的外置校验方法，其特征在于，所述将与所述第二子数据集合中各数据对应的特征向量作为待训练卷积神经网络的输入，将各特征向量对应的标注值作为待训练卷积神经网络的输出，以对训练卷积神经网络进行训练，得到用于识别错误数据格式的卷积神经网络之前，还包括：

将所述第二子数据集合中各数据对应的特征向量均对应自动标注0，以作为各特征向量对应的标注值；其中，标注值0表示数据存在格式错误。