[发明专利]数据处理方法、装置、电子设备及介质

权利要求书

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

当接收到数据处理请求时，从所述数据处理请求中确定目标系统，并确定所述目标系统上的数据存储形式；

利用与所述数据存储形式对应的采集方式从所述目标系统中采集待处理数据；

对所述待处理数据进行标准化处理，得到标准数据；

确定所述标准数据的数据长度，并检测所述数据长度是否满足预设长度；

当所述数据长度满足所述预设长度时，确定所述标准数据所在的第一数据源，并从所述第一数据源中确定与所述标准数据对应的原始数据；

对比所述标准数据与所述原始数据，得到对比结果；

当所述对比结果为一致时，确定所述标准数据通过质量检测，并将通过质量检测的标准数据确定为初始数据；

对所述初始数据进行维度规整处理，得到多个维度表；

从所述数据处理请求中提取用户需求，并根据所述用户需求生成数据分析算法；

利用所述数据分析算法分析所述多个维度表中的数据，得到目标数据表；

根据所述目标数据表构建血缘图谱。

2.如权利要求1所述的数据处理方法，其特征在于，所述利用与所述数据存储形式对应的采集方式从所述目标系统中采集待处理数据包括以下一种或者多种方式的组合：

当所述数据存储形式为数据库形式时，从所述目标系统中获取存储数据的目标数据库的存储地址，根据所述存储地址生成查询语句，利用所述查询语句从所述存储地址中获取数据，并将获取到的数据确定为所述待处理数据；及/或

当所述数据存储形式为数据文件形式时，从所述目标系统中获取存储数据的目标文件，解析所述目标文件，并从解析后的目标文件中捕获数据，作为所述待处理数据。

3.如权利要求1所述的数据处理方法，其特征在于，所述对所述待处理数据进行标准化处理包括：

确定配置库中的数据格式及数据区间；

将所述待处理数据转换为具有所述数据格式的第一数据，并利用数据归一化算法将所述第一数据映射为所述数据区间内的数据，作为第二数据；

基于编码算法将所述第二数据转换为向量；

利用距离公式计算每两个向量之间的距离值，得到每对第二数据之间的相似度，每对第二数据是指所述第二数据中任意两个第二数据；

将相似度大于第一预设阈值的每对第二数据确定为重复数据对，并删除所述重复数据对中的任意一个数据，得到所述标准数据。

4.如权利要求1所述的数据处理方法，其特征在于，所述方法还包括：

当所述数据长度不满足所述预设长度及/或所述对比结果为不一致时，确定所述标准数据未通过质量检测。

5.如权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

确定未通过质量检测的标准数据所在的第二数据源；

计算所述第二数据源上未通过质量检测的标准数据的第一数量，及计算所述第二数据源上通过质量检测的标准数据的第二数量；

对所述第一数量及所述第二数量进行和运算，得到运算结果，并将所述第一数量除以所述运算结果，得到目标占比；

当所述目标占比大于第二预设阈值时，确定所述第二数据源所属的源系统，并向所述源系统发送配置信息；

当所述配置信息在预设时间内未被响应时，断开与所述源系统的连接。

6.如权利要求1所述的数据处理方法，其特征在于，所述根据所述用户需求生成数据分析算法包括：

确定与所述用户需求相关联的目标字段；

根据所述用户需求确定所述目标字段对应的运算规则；

获取与所述运算规则对应的脚本；

将所述目标字段填充至所述脚本中，生成所述数据分析算法。