[发明专利]一种数据接入方法、装置及设备

说明书

本申请涉及一种数据接入方法、装置及设备，所述方法包括：获取源数据，确定所述源数据的原始数据格式；基于所述原始数据格式，从格式转换方法集中确定与所述原始数据格式对应的目标格式转换方法；基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据；以预设的数据打包方法对所述目标格式的目标数据进行数据打包，得到源数据包；获取所述源数据的附加信息，将所述附加信息添加到所述源数据包中，得到目标数据包，存储所述目标数据包；将所述目标格式的目标数据作为接入数据进行数据接入；本申请能够快速、便捷地接入数据，能够应对更多的数据接入需求，从而提高数据接入能力并支持全流程数据查询。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据接入方法、装置及设备。

背景技术

数据接入是指将数据提供方提供的数据转换为内部目标格式数据的过程，将源数据转化为目标格式数据之后，便可基于统一的目标格式数据进行相关服务应用的开发。

现有的数据接入方法以爬虫技术为主，对于一种格式的数据或者一种数据接口的接入效果比较好，但是对于不同的数据格式只能够定制化重新开发对应的数据接入方法，例如，对于新的数据格式的源数据，需要从零开始开发与新格式的源数据对应的数据接入方法；另外，由于爬虫技术接入的框架比较单一，且爬虫框架比较固定无法拓展，从而导致数据接入周期长，开发的复杂度高。

发明内容

本申请所要解决的技术问题在于，提供一种数据接入方法、装置及设备，能够快速、便捷地接入数据，能够应对更多的数据接入需求，从而提高数据接入能力并支持全流程数据查询。

为了解决上述技术问题，一方面，本申请提供了一种数据接入方法，所述方法包括：

获取源数据，确定所述源数据的原始数据格式；

基于所述原始数据格式，从格式转换方法集中确定与所述原始数据格式对应的目标格式转换方法；其中，所述格式转换方法集是基于对各种预设数据格式的数据所对应的原格式转换方法进行分析、综合得到的；

基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据；

以预设的数据打包方法对所述目标格式的目标数据进行数据打包，得到源数据包；

获取所述源数据的附加信息，将所述附加信息添加到所述源数据包中，得到目标数据包，存储所述目标数据包；

将所述目标格式的目标数据作为接入数据进行数据接入。

另一方面，本申请提供了一种数据接入装置，所述装置包括：

源数据获取模块，用于获取源数据，确定所述源数据的原始数据格式；

转换方法确定模块，用于基于所述原始数据格式，从格式转换方法集中确定与所述原始数据格式对应的目标格式转换方法；其中，所述格式转换方法集是基于对各种预设数据格式的数据所对应的原格式转换方法进行分析、综合得到的；

数据格式转换模块，用于基于所述目标格式转换方法，将所述源数据转换为目标格式的目标数据；

打包模块，用于以预设的数据打包方法对所述目标格式的目标数据进行数据打包，得到源数据包；

目标数据包生成模块，用于获取所述源数据的附加信息，将所述附加信息添加到所述源数据包中，得到目标数据包，存储所述目标数据包；

数据接入模块，用于将所述目标格式的目标数据作为接入数据进行数据接入。

另一方面，本申请提供了一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述的数据接入方法。