[发明专利]一种大数据有效存储的方法和装置

摘要

本发明提出了一种大数据有效存储的方法和装置，所述方法包括步骤S100，对待存储数据进行预处理；将所述待存储数据封装成对象数据，所述对象数据中添加有对象数据的属性信息，所述属性信息包括对象数据的数据类型；步骤S200，接收对象数据，根据对象数据的属性信息确定对象数据的数据类型；步骤S300，根据对象数据的数据类型将对象数据存储到不同的存储单元中。本发明通过利用不同的存储单元分别存储不同数据类型的数据，从而可以发挥不同存储单元的存储优势。

主权项

一种大数据有效存储的方法，包括：步骤S100，对待存储数据进行预处理；将所述待存储数据封装成对象数据，所述对象数据中添加有对象数据的属性信息，所述属性信息包括对象数据的数据类型；所述的对象数据的数据类型包括结构化数据、半结构化数据和非结构化数据；被封装的对象数据具有统一的数据操作接口，所述数据操作接口接收对对象数据的操作；步骤S200，接收对象数据，根据对象数据的属性信息确定对象数据的数据类型；步骤S300，根据对象数据的数据类型将对象数据存储到不同的存储单元中；所述的不同的存储单元包括HDFS分布式文件系统单元、HBase数据库单元和关系数据库单元；其中，HDFS分布式文件系统单元用于存储非结构化数据，HBase数据库单元用于存储半结构化数据，关系数据库用于存储结构化数据；不同的存储单元分别具有各自的数据操作解析单元，用于接收对象数据的数据操作接口发送的数据操作，并对所述数据操作进行解析，将数据操作接口发送的数据操作转换为本存储单元可以执行的操作。