[发明专利]一种电子商务平台大数据处理方法和系统

说明书

本发明公开了一种电子商务平台大数据处理方法和系统，通过生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，以及写缓存为底层的文件系统提供高性能的写缓存服务，将文件集合划分为多个类，将海量文件合并为大文件，最终将大文件写入到文件系统进行持久化存储。通过写缓存和写合并之后，规避了海量文件写对文件系统的不友好，从而优化写吞吐速率和内存占用率。

技术领域

本发明涉及计算机数据处理技术领域，特别涉及一种电子商务平台大数据处理方法和系统。

背景技术

网络购物在移动互联网的大背景时代下，已经成为人们习以为常的消费习惯。在良好的互联网环境下，电子商务发展迅猛，越来越多的零售企业选择电子商务来发展自身业务，仅阿里巴巴平台，就培育了大量的线上品牌。电子商务作为一种虚拟的较易方式，在为广大消费者提供便捷的同时，需要很多社会服务环节的配合，它不仅代表一种新的消费体验，也代表了一种零售及其配套服务发展的新业态。电子商务是一项蓬勃发展的商业模式，由此给中小企业发展带来了新契机。在中小企业与电子商务协同发展的过程中，信息化是必不可少的中间环节。然而目前中小型企业信息化建设缓慢，有关中小型企业仓储物流信息化建设研究较少，目前己实现的系统设计具备基本功能，但缺乏较好的细节设计与用户体验。

但是，对于电子商务公司来说，内部落后的信息化水平可能成为制约其服务效率的一个重要原因。电子商务以数据为中心的特性，使得其设计区别于其他计算机网络，如以网络为中心的万维网、以事务为中心的金融网、以设备为中心的无限传感网。电子商务应用的设计必须以数据的存储与管理为中心，以数据库技术为中心，从逻辑概念和软、硬件技术两个方面实现一个高性能的和以数据为中心的网络系统，为用户提供一个有效的数据存储于管理系统。

采用传统的客户端/服务器模式采集数据，数据中心发出采集请求，采集数据模块响应，数据中心通过轮询的方式与各采集节点通信，但由于采集节点数量非常大，必然会导致两个问题：1)采集数据量大，从而导致负载过重，限制采集规模；2)数量大的情况下，数据中心轮询时间也增加。这样就会导致采集数据的实时性受到影响。电子商务平台每天产生大量的数据，其中数据通常以小文件的形式产生，例如每隔一段时间就会形成并上传一个几十KB的文件；如何实现电子商务大数据环境下的海量小文件高效存储，己成为大数据研究中的一个关键问题。分布式文件系统是目前实现海量小文件存储的主要技术，但分布式文件系统在进行小文件存储时存在写吞吐速率低和内存占用率过高等问题，难以满足大数据管理的要求。

发明内容

本发明实施例提供了电子商务平台大数据处理方法和系统，能够使得在采集数据时不会导致负载过重，解决了大数据存储时存在写吞吐速率低和内存占用率过高等问题。

为了解决上述问题，本发明公开了如下技术方案：

第一方面，提供一种电子商务平台大数据处理方法，包括：

数据中心发出采集请求，采集数据响应启动；

数据中心通过轮询的方式与各采集节点通信，定时周期性地向各采集设备轮询是否就绪，若是，则进入下一步；若否，则返回上一级；

生成多个采集代理，将采集网络划分为不同的模块，每个采集代理负责不同模块中的采集节点，采集代理在终端发送相应的采集操作命令给终端设备；

将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点；

对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到数据库中，同一类的后续合并的大文件也写到数据库中；

将数据库中的一个表作为一个文件，相应建立一个索引文件，对需要操作的页进行索引，查找到相应的文件，加载进入虚拟内存空间；