[发明专利]一种征信数据存储调度方法及系统

说明书

本发明实施例公开了一种征信数据存储调度方法与系统，用于满足数据多样性的存储要求。本发明实施例方法包括：接收应用系统发出的目标数据的写入请求；判断目标数据是否为非结构化数据；若是，则根据目标数据的写入请求从元数据模块中查询存储资源池中现有数据存储布局的元数据；根据存储资源池中现有数据存储布局的元数据、目标数据的写入请求以及预置的调度算法为目标数据分配第一存储位置；根据第一存储位置向存储资源池发起目标数据的写入操作；接收存储资源池生成的写入操作结果；根据写入操作结果将第一存储位置保存至元数据模块中并将写入操作结果发送至应用系统。

技术领域

本发明涉及金融领域数据处理领域，具体涉及一种征信数据存储调度方法及系统。

背景技术

大数据征信平台使用的数据具有来源多样化的特点，这些数据结构化、半结构化、非结构化并存。

征信数据涵盖所有政府职能部门监管信息(例如企业基本身份信息，行政许可、认定信息，行政奖罚信息，产品质量监测信息，法院判决信息，知识产权信息)，银行信贷信用信息(例如中国人民银行信贷信用评价信息、各商业银行信贷评价信息、小贷公司信贷评价信息、民间借贷信用评价信息)，行业协会评价信息(例如各行业协会评价信息、水电气电讯交通等社会公共事业单位评价信息)，媒体评价信息，企业运营管理信息，市场反馈信息(例如消费者、交易对方、合作伙伴、员工等)，其内容包括文本，版式文件等各种数据。

在这种情况下传统的结构化数据表已经无法满足数据多样性的存储要求，迫切需要一种同时支持结构化、半结构化和非结构化数据存储、及统一调度的存储系统。

发明内容

本发明实施例提供了一种征信数据存储调度方法及征信数据存储调度系统，用于满足数据多样性的存储要求。

本发明实施例第一方面提供了一种征信数据存储调度方法，包括：

接收应用系统发出的目标数据的写入请求；

判断所述目标数据是否为非结构化数据；

若所述目标数据为非结构化数据，则根据所述目标数据的写入请求从元数据模块中查询存储资源池中现有数据存储布局的元数据；

根据所述存储资源池中现有数据存储布局的元数据、所述目标数据的写入请求以及预置的调度算法为所述目标数据分配第一存储位置，所述第一存储位置为所述目标数据在所述存储资源池中的存储位置；

根据所述目标数据的写入请求以及所述第一存储位置确定所述目标数据的写入操作；

发送所述写入操作至所述存储资源池；

接收所述存储资源池生成的写入操作结果，所述写入操作结果为所述存储资源池根据所述目标数据的写入操作将所述目标数据存储至第二存储位置，并建立所述第一存储位置与所述第二存储位置的映射关系后生成，所述第二存储位置为所述目标数据在所述目标数据对应的物理存储设备中的存储位置。

根据所述写入操作结果将所述第一存储位置保存至所述元数据模块中并将所述写入操作结果发送至所述应用系统。

结合第一方面，在第一方面的第一种可能的实现方式中，当所述目标数据为结构化数据时，从所述元数据模块中获取所述目标数据的归属信息；

根据所述目标数据的归属信息确定所述目标数据对应的目标数据表所属的数据库在所述存储资源池中的目标存储位置；

根据所述目标存储位置向所述存储资源池发起所述目标数据的写入操作；