[发明专利]一种电子商务平台大数据处理方法和系统

权利要求书

1.一种电子商务平台大数据处理方法，其特征在于，所述方法包括：

数据中心发出采集请求，采集数据响应启动；

数据中心通过轮询的方式与各采集节点通信，定时周期性地向各采集设备轮询是否就绪，若是，则进入下一步；若否，则返回上一级；

生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，采集代理在终端发送相应的采集操作命令给终端设备；

将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点；对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到数据库中，同一类的后续合并的大文件也写到数据库中；

将数据库中的一个表作为一个文件，相应建立一个索引文件，对需要操作的页进行索引，查找到相应的文件，加载进入虚拟内存空间；表文件和索引文件的结构都是由文件头和数据对象两个部分组成；而内存部分，则划分为四个部分，分别是阴影区、数据操作区、索引区及数据对象区；表文件中的数据对象载入到数据对象区，索引文件的索引内容载入到索引区，然后根据相对偏移量来索引出数据对象；每次需要操作的数据项都先备份到阴影区，然后再在数据操作区中操作；当内存可以使用的物理内存空间不够时，由操作系统的虚拟内存管理器负责页数据交换，最后再同步到物理存储介质。

2.根据权利要求1所述的方法，其特征在于，在生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点中，数据中心服务器还存储了采集节点与服务节点的映射关系。

3.根据权利要求1所述的方法，其特征在于，在对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到数据库中，同一类的后续合并的大文件也写到数据库中之后，对数据库中的元数据信息进行清理操作。

4.根据权利要求1所述的方法，其特征在于，在当内存可以使用的物理内存空间不够时，由操作系统的虚拟内存管理器负责页数据交换，最后再同步到物理存储介质之后，数据中心对实时数据进行连续查询。

5.根据权利要求4所述的方法，其特征在于，数据中心也对历史数据进行查询，通过连续查询实时数据与历史数据进行对比，检测数据采集的结果。

6.一种电子商务平台大数据处理系统，其特征在于，包括：

启动模块，数据中心发出采集请求，采集数据响应启动；

检测模块，数据中心通过轮询的方式与各采集节点通信，定时周期性地向各采集设备轮询是否就绪，准备就绪则进入采集代理生成模块，若否，则重新返回启动模块；

采集代理生成模块，生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，采集代理在终端发送相应的采集操作命令给终端设备；

写缓存模块，将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点；

合并写模块，对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到分布式文件系统中，同一类的后续合并的大文件也写到分布式文件系统中；

索引建立模块，将数据库中的一个表作为一个文件，相应建立一个索引文件，对需要操作的页进行索引，查找到相应的文件，加载进入虚拟内存空间；表文件和索引文件的结构都是由文件头和数据对象两个部分组成；而内存部分，则划分为四个部分，分别是阴影区、数据操作区、索引区及数据对象区；表文件中的数据对象载入到数据对象区，索引文件的索引内容载入到索引区，然后根据相对偏移量来索引出数据对象；每次需要操作的数据项都先备份到阴影区，然后再在数据操作区中操作；

同步模块，当内存可以使用的物理内存空间不够时，由操作系统的虚拟内存管理器负责页数据交换，最后再同步到物理存储介质。

7.根据权利要求6所述的系统，其特征在于，还具有数据中心服务器，存储有采集节点与服务节点的映射关系。