[发明专利]一种大规模网络流式数据缓存写入的方法

权利要求书

1.一种大规模网络流式数据缓存写入的方法，其特征在于，该方法包括：

客户端将采集的数据封装后，发送给服务器端；

服务器端对接收到的数据进行解析，确认数据的来源，并将数据格式统一；

将格式统一后的数据，根据其来源写入不同内存的缓存区域；

对写入不同内存缓存区域的数据制定不同的缓存策略，并将满足策略触发条件的数据从内存写入本地文件系统；

将写入本地文件系统的数据根据上层应用需求加载到分布式文件系统或分布式数据库中；

对于已加载到分布式文件系统或分布式数据库的数据，定期将小数据合并成大数据块。

2.根据权利要求1所述的方法，其特征在于，所述数据格式统一后，应为Key-Value形式或关系型数据形式。

3.根据权利要求1所述的方法，其特征在于，该方法进一步包括：

对于要加载到分布式数据库中的数据，进一步判断其是否为关系型数据，若是关系型数据，则将其加载到分布式关系型数据库，若不是关系型数据，则将其加载到分布式No-SQL数据库。

4.根据权利要求1所述的方法，其特征在于，该方法还包括：

对于加载到分布式数据库的数据，将合并后的大数据的存储格式转换为针对分布式数据库的专门优化的行列存储格式。

5.一种大规模网络流式数据缓存写入的系统，其特征在于，该系统包括：

数据发送模块，用于将采集的数据封装后，发送给服务器端；

数据格式化模块，用于对接收到的数据进行解析，确认数据的来源，并将数据格式统一；

数据缓存模块，用于将格式统一后的数据，根据其来源写入不同内存的缓存区域；

数据持久化模块，用于对写入不同缓存区域的数据定制不同的缓存策略，并将满足策略触发条件的数据从内存写入本地文件系统；

数据加载模块，用于将写入本地文件系统的数据根据上层应用需求加载到分布式文件系统或分布式数据库中；

数据规整模块，用于对已加载到分布式文件系统或分布式数据库的数据，定期将小数据合并成大数据。

6.根据权利要求5所述的系统，其特征在于，所述数据格式化模块，将数据格式统一后，其数据的格式应为Key-Value形式或关系型数据形式。

7.根据权利要求5所述的系统，其特征在于，所述数据加载模块，进一步判断加载到分布式数据库中的数据是否为关系型数据，若是关系型数据，则将其加载到分布式关系型数据库，若不是关系型数据，则将其加载到分布式No-SQL数据库。

8.根据权利要求5所述的系统，其特征在于，所述数据规整模块，进一步将分布式数据库中合并后的大数据的存储格式，转换成针对分布式数据库的专门优化的行列存储格式。