[发明专利]一种数据提取方法

权利要求书

1.一种数据提取方法，其特征在于，该方法包括：

步骤1，客户端采集数据，将数据根据需要保存在日志服务器、业务数据库、缓存服务器中；

步骤2，对采集到的数据预处理，将数据按照数据量以及数据及时性的要求，定时从日志服务器、业务数据库中同步到分布式文件存储器中，其中，将数据从日志服务器、业务数据库同步到分布式文件存储器中时，需要根据业务场景需要按分钟、按小时、按天、按月同步；

当数据是从日志服务器中同步到分布式文件存储器中时：将日志文件细分到分钟，根据细分后的日志文件预计的大小，按照分布式文件存储器的文件格式分别投递到分布式文件存储器中，同时在分布式文件存储器中设置好字段类型，并将不符合的数据清洗掉；

当数据是从业务数据库中同步到分布式文件存储器中时：将业务数据库中该数据对应的表加上创建时间索引及ID索引，并按照分钟、小时、天和月将该数据同步到 分布式文件存储器中；

步骤3，计算机集群按照需求分配CPU核心数以及内存数，从分布式文件存储器中提取数据并进行数据计算处理，将计算处理后的结果数据写回分布式文件存储器中，其中，数据计算处理包括：

数据冗余处理：在分布式文件存储器中提取数据时，将数据中重要列提取出来保存到单独表中；将业务数据库中的日志数据同时保存到分布式文件存储器中进行数据备份；将单行日志数据转换成多列数据；

数据多级处理：将不同粒度的数据分层次逐级处理；

数据分类处理：将不同类型或者用户行为id的数据写入一张结果表中；

步骤4，将计算处理后的结果数据进行数据结果化处理，并同步到业务数据库中，其中，数据结果化处理包括：

将结果数据同步到业务数据库中时，对数据的维度值均加上索引；根据最后需求分层级保存结果数据，将每一级的表都同步到业务数据库中；删除业务数据库中使用率较低的历史数据；

步骤5，业务服务器根据需求选择从缓存服务器或业务数据库中提取数据。

2.根据权利要求1所述的数据提取方法，其特征在于，步骤2还包括分脏数据处理：将采集到的数据中不符合数据类型的数据行直接删除，或，在数据的同步过程中添加筛选条件，将列为空的数据直接删除。

3.根据权利要求1所述的数据提取方法，其特征在于，数据冗余处理时，还包括将分布式文件存储器中的日志数据同步回业务数据库中。

4.根据权利要求1所述的数据提取方法，其特征在于，数据分类处理时，对于不同数据类型的数据，当数据类型较少时，将类型穷举，分列统计后存放在结果表中；当数据类型较多时，直接将这些类型进行分组，统计后存放在结果表中。