[发明专利]数据的存储方法及装置

说明书

本发明公开了一种数据的存储方法及装置，涉及数据处理领域，主要目的在于实现在数据存储的过程中满足对数据的明细内容进行操作或分析的需求。该方法包括：通过预设数据流处理框架获取待入库数据；通过预设数据流处理框架对所述待入库数据进行处理，得到处理后数据，其中，所述处理后数据为一种供用户基于不同维度进行分析和读取的数据；将所述处理后数据存储在目标数据库中，其中，所述目标数据库包含第一数据库和第二数据库，所述第二数据库用于当所述第一数据库中存储的数据量超过预设阈值时接收过量数据，所述第一数据库及第二数据库均为支持对库内数据执行随机读写及不同维度分析的数据库。本发明用于数据的存储过程。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据的存储方法及装置。

背景技术

一直以来，当原始数据从数据源产生后，由于数据形式的原因，一般无法被用户直接进行读取和分析，通常需要将原始数据进行处理并存储，当检测到用户的数据请求时，再将处理后的数据反馈至用户请求端。而由于数据量的日益增加，数据源的数量以及每个数据源产生的原始数据的数量也在大幅度增加，在这种情况下，现有技术常常通过每隔一小时或一天等时间段进行原始数据的统一处理和存储，以便应对后续的数据请求。而在定期的统一处理之前，新产生的原始数据也可能存在需要被读取或操作的情况，基于此，现有技术常常会对这些还未进行处理的数据进行简单的汇总得到汇总信息以满足用户的需求。

目前，在数据的存储过程中，一般将原始数据定期进行处理后存储，同时将未处理的数据进行汇总后得到汇总信息。然而，在实际应用中，可能存在用户对数据的具体明细进行操作或分析的需求，而汇总信息仅是一个汇总结果，其并不能如处理后的数据一样满足对数据的具体明细进行操作的需要，也就是说，当用户需要操作或分析的数据属于未处理的数据时，现有技术的数据存储方式势必难以满足用户的操作需求。因此，如何能够在数据存储的过程中确保对数据的明细内容进行操作或分析的需求，成为了领域内亟待解决的问题。

发明内容

鉴于上述问题，本发明提供一种数据的存储方法及装置，主要目的在于实现在数据存储的过程中满足对数据的明细内容进行操作或分析的需求。

为解决上述技术问题，第一方面，本发明提供了一种数据的存储方法，该方法包括：

通过预设数据流处理框架获取待入库数据；

通过预设数据流处理框架对所述待入库数据进行处理，得到处理后数据，其中，所述处理后数据为一种供用户基于不同维度进行分析和读取的数据；

将所述处理后数据存储在目标数据库中，其中，所述目标数据库包含第一数据库和第二数据库，所述第二数据库用于当所述第一数据库中存储的数据量超过预设阈值时接收过量数据，所述第一数据库及第二数据库均为支持对库内数据执行随机读写及不同维度分析的数据库。

可选的，在所述将所述处理后数据存储在目标数据库中之后，所述方法还包括：

当检测到数据操作请求时，通过预设数据查询系统，从所述目标数据库中获取对应所述数据操作请求的数据。

可选的，在所述当检测到数据操作请求之前，所述方法还包括：

为所述第一数据库及所述第二数据库中存储的数据构建数据目录，所述数据目录中包含有每个所述处理后数据的标识以及对应的存储位置，所述存储位置包括第一数据库及第二数据库；

所述当检测到数据操作请求时，通过预设数据查询系统，从所述目标数据库中获取对应所述数据操作请求的数据，包括：

当检测到数据操作请求时，根据所述数据操作请求从所述数据目录中确定所述数据操作请求对应的所述处理后数据的存储位置；

根据所述存储位置，从所述第一数据库或所述第二数据库中获取对应的所述处理后数据。

可选的，所述通过预设数据流处理框架对所述待入库数据进行处理，得到处理后数据包括：