[发明专利]一种基于高分散哈希算法的数据采集策略方法及装置

说明书

一种基于高分散哈希算法的数据采集策略方法及装置，该装置包括用户行为采集模块、时间种子生成器、哈希回传时间生成器、时间校正器、定时服务模块、数据传输模块、文件缓存模块、后台接收服务模块；该装置将高分散性哈希算法引入，计算合理的回传时间；数据传输模块及数据加密器等用于将数据进行加密后传输；文件缓存、传输计数器、启动计数器等用于测算数据传输成功率。本发明利用高分散性哈希算法的天然特质，在对实时性要求不高的移动互联网数据采集系统中，有效的将大量的设备发送请求进行了分散疏导，合理的利用服务器的资源情况，将其服务能力平均化，同时也可以将数据回传的延时降到最低，实现系统的均衡、稳定的目标。

技术领域

本发明涉及移动互联网领域，设计并实现了一种利用移动终端的高离散性性质，在非实时计算要求的数据采集系统中，降低服务器负载的方法及装置。

背景技术

近年来，随着移动互联网的迅速发展，目前移动终端设备数量呈爆炸级的速度上升，从而带来了移动应用数量的大规模增长，截止至2014年底，我国移动智能终端用户规模达10.6亿，较2013年增长231.7％，增速远超全球同期市场。因此在这种终端设备越来越多的环境下，应用的运维人员急需了解自身应用的用户每天到底在做哪些事情，急需对用户的行为进行数据采集，以用来辅助App的运维决策。

目前在移动终端上进行数据采集主要依靠于在移动应用内嵌入一个采集装置，通过调用此装置提供的接口进行数据采集，但对于采集到用户行为数据，不同厂商的装置会有不同的处理策略和方法，目前大致可以分成如下三种：

实时回传策略方法，该策略方法优点在于数据的实时性很强，用户的行为数据在产生后立刻可以采集回系统；缺陷在于大量的用户数据会给数据采集后台造成很大的负载压力，系统不得不为实时性而进行扩容，以解决高并发带来的负载问题。

启动回传策略方法，该策略主要将数据累计到一定的量才传输到数据采集系统，回传的时间点在应用启动的时候或者是在应用关闭的时候，因此优点是可以将少量的用户操作进行合并，减少对系统的并发影响；缺陷在于系统压力仍然有可能随着接入终端数量的上升而上升，根据用户的实际使用行为，并发有可能会集中在特定的几个时间段爆发(如早上9点、中午12点、下午4点等时间)，也对系统造成很大的负载，同时由于用户的使用习惯不一样，如应用有可能几天才打开一次，因此可能会带来数据很大的延时。

定时/延时回传策略方法：一般服务器的空闲时间在凌晨时分，因此该策略方法采用了将回传时间设置在这个时候，定时发送批量的采集数据到服务器，该策略好处在于能合理利用了服务器的空闲时间段；又或者采用随机的回传时间方法将数据回传，但问题在于如果接入设备量大的情况下，仍然避免不了海量的请求引起服务器的负载过量。

发明内容

本发明的目的是提出一种基于高分散性哈希算法的移动数据采集回传策略方法及装置，在Android移动终端中应用，为移动用户行为数据采集服务奠定基础。

本发明提出的一种基于高分散性哈希算法的移动数据采集回传策略方法及装置，其特征包括如下：

一种基于高分散性哈希算法的移动数据采集回传策略装置，该装置包括用户行为采集模块、时间种子生成器、哈希回传时间生成器、时间校正器、定时服务模块、数据传输模块、文件缓存模块、后台接收服务模块；所述数据传输模块由数据加密器组成；

文件缓存模块包括传输计数器、启动计数器、回传时间模块、用户数据缓存模块；

具体而言，用户行为采集模块与文件缓存模块连接，文件缓存模块与时间校正器、数据传输模块连接；时间种子生成器与哈希回传时间生成器连接；哈希回传时间生成器、时间校正器与定时服务模块连接；定时服务模块与数据传输模块相互交互；数据传输模块与后台接收服务模块连接；哈希回传时间生成器与文件缓存模块连接。

基于上述装置的一种基于高分散性哈希算法的移动数据采集回传策略方法，该方法通过如下步骤实现：