[发明专利]一种数据管理方法及系统、业务平台

说明书

本发明提供了一种数据管理方法及系统、业务平台，其中，方法包括：获取业务信息，其中，业务信息携带至少一条第一目标业务数据及对应的第一属性信息；根据每一条第一属性信息构建目标文件目录结构；在至少一个第一数据存储节点上分别创建第一目标文件夹，并将至少一条第一目标业务数据分别存储到对应的第一目标文件夹下；获取目标行业数据的数据结构；在至少一个第二数据存储节点上分别创建第二目标文件夹，并将目标行业数据分别存储到对应的第二目标文件夹下；将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下。通过本发明的技术方案，可实现将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。

技术领域

本发明涉及通信技术领域，特别涉及一种数据管理方法及系统、业务平台。

背景技术

随着互联网技术的发展，许多企业为了达成了解市场的动态变化及竞争对手分析，通常需要网上采集与自己行业相关的业务数据

目前，传统的数据采集系统主要利用垂直搜索和网络爬虫技术相结合以实现数据采集业务，根据用户提供的关键词，利用相应的搜索引擎进行垂直搜索，然后获取对应关键词的多个初始URL(Uniform Resoure Locator，统一资源定位符)地址，进而利用网络爬虫获取每一个初始URL地址分别对应的多个下级URL地址，利用相应的数据采集规则从多个初始URL地址以及多个下级URL地址分别对应的目标网页上采集相应的业务数据。

但是，在上述技术方案中，数据采集系统的数据库结构与企业内部行业数据对应的数据库结构可能完全不同，并不能将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。

发明内容

本发明提供了一种数据管理方法及系统、业务平台，可实现将数据采集系统采集到的业务数据和企业内部的行业数据整合到一起。

第一方面，本发明提供了一种数据管理方法，包括：

S1：从外部数据采集系统获取业务信息，其中，所述业务信息携带至少一条第一目标业务数据及每一条第一目标业务数据分别对应的第一属性信息；

S2：根据每一条第一目标业务数据分别对应的第一属性信息构建目标文件目录结构；

S3：根据所述文件目录结构在至少一个第一数据存储节点上分别创建第一目标文件夹，并将所述至少一条第一目标业务数据分别存储到对应的第一目标文件夹下；

S4：从外部关系型数据库中获取目标行业数据的数据结构；

S5：根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，并将所述目标行业数据分别存储到对应的第二目标文件夹下；

S6：将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下。

进一步的，在所述将每一个第二目标文件夹下的目标行业数据分别镜像到对应的第一目标文件夹下之后，还包括：

接收外部客户端发送的数据读取请求，其中，所述数据读取请求携带对应第二目标业务数据的第二属性信息；

根据所述第二属性信息查询所述目标文件目录结构，从对应所述第二属性信息的第一目标文件夹内读取第二目标业务数据，并将所述第二目标业务数据发送到外部客户端。

进一步的，

所述从外部关系型数据库中获取目标行业数据的数据结构，包括：从外部关系型数据库中获取携带目标行业数据的至少一张数据库表；

所述根据目标行业数据的数据结构在至少一个第二数据存储节点上分别创建第二目标文件夹，包括：

根据每一张数据库表分别对应的标识信息在至少一个第二数据存储节点上分别创建第二目标文件夹。