[发明专利]一种数据接入方法、装置及设备

权利要求书

1.一种数据接入方法，其特征在于，包括：

获取源数据，确定所述源数据的原始数据格式；

基于所述原始数据格式，从格式转换方法集中确定与所述原始数据格式对应的目标格式转换方法；其中，所述格式转换方法集是基于对各种预设数据格式的数据所对应的原格式转换方法进行分析、综合得到的；

基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据；

以预设的数据打包方法对所述目标格式的目标数据进行数据打包，得到源数据包；

获取所述源数据的附加信息，将所述附加信息添加到所述源数据包中，得到目标数据包，存储所述目标数据包；

将所述目标格式的目标数据作为接入数据进行数据接入。

2.根据权利要求1所述的一种数据接入方法，其特征在于，所述方法还包括：

对每种原格式转换方法进行分解，得到至少一个子方法；

基于对各原格式转换方法的分解结果，得到由多个子方法构建的子方法集合；

判断所述子方法集合中是否包括具有相同内容的子方法；

当判断结果为是时，将具有相同内容的子方法划分为一组，得到至少一个分组，其中，每个分组中包括至少两个具有相同内容的子方法；

保留每个分组中的一个子方法，将各分组中的子方法确定为公共方法，为各公共方法提供访问接口；

对于包含所述公共方法的原格式转换方法，在所述原格式转换方法中将所述公共方法替换为相应公共方法的访问接口，得到预设格式转换方法；

基于与各预设格式的数据所对应的预设格式转换方法，构建所述格式转换方法集。

3.根据权利要求1所述的一种数据接入方法，其特征在于，所述获取源数据包括：

获取数据提供方上传的所述源数据；

或，

获取数据提供方提供的源数据获取接口；

基于所述源数据获取接口拉取所述源数据。

4.根据权利要求3所述的一种数据接入方法，其特征在于，所述方法还包括：

对于不同的源数据获取接口，分别确定与每个源数据获取接口对应的接口鉴权方法；

综合各接口鉴权方法，得到接口鉴权包；

所述基于所述源数据获取接口拉取所述源数据之前还包括：

从所述接口鉴权包中调用与当前源数据获取接口对应的目标接口鉴权方法；

通过所述目标接口鉴权方法对预设权限参数进行处理，得到已处理参数；

将所述已处理参数传入当前源数据获取接口，得到还原参数；

当所述预设权限参数与所述还原参数匹配一致时，判定对当前源数据获取接口鉴权成功。

5.根据权利要求4所述的一种数据接入方法，其特征在于，所述附加信息包括所述源数据的来源信息、所述源数据的数据标识、版本信息，以及获取所述源数据时的时间戳；

相应地，所述获取所述源数据的附加信息包括：

获取所述源数据的来源信息、所述源数据的数据标识以及版本信息；

确定获取所述源数据时的时间戳。

6.根据权利要求1所述的一种数据接入方法，其特征在于，所述源数据中包括至少一条原始数据记录；

相应地，所述基于所述目标格式转换方法，将所述原始数据格式的源数据转换为目标格式的目标数据包括：

遍历所述源数据中的各条原始数据记录；

基于所述目标格式转换方法，将每条原始数据记录转换为所述目标格式的数据记录；

综合各条所述目标格式的数据记录，得到所述目标格式的目标数据。

7.根据权利要求6所述的一种数据接入方法，其特征在于，所述目标格式的数据记录为以键值形式进行存储的数据记录；

相应地，所述基于所述目标格式转换方法，将每条原始数据记录转换为所述目标格式的数据记录包括：

提取每条原始数据记录中的预设字段信息，以及所述预设字段信息对应的所述原始数据格式的数据信息；

基于所述预设字段信息以及相应的所述原始数据格式的数据信息，将所述原始数据记录转换为以键值格式进行存储的数据记录。