[发明专利]一种基于第三方的用户数据统计方法及系统

说明书

技术领域

本发明涉及基于第三方的用户数据统计方法及系统。

背景技术

随着通信技术的快速发展，通过即时通讯应用来进行通信的用户越来越多。为了保证用户之间通信的可靠性，需要对使用该即时通讯应用的用户数据进行统计，例如，当某个国家的用户数据出现异常时，可以通过该国家中每个城市统计的用户数据，来确定该国家中的哪个城市出现了通信故障，从而基于通信故障进行有针对性的修复，以保证用户之间通信的可靠性。

进入2012年，大数据(bigdata)一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据。截止到2012年，数据量已经从TB(1024GB＝1TB)级别跃升到PB(1024TB＝1PB)、EB(1024PB＝1EB)乃至ZB(1024EB＝1ZB)级别。国际数据公司(IDC)的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数据量更是高达1.82ZB，相当于全球每人产生200GB以上的数据量。

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。行业/企业大数据动辄达到数百TB甚至数十至数百PB，如此数量级的大数据已远远超出了现有传统的计算技术和信息系统的处理能力，因此寻求有效的大数据处理技术已经成为现实世界的迫切需求。

随着客户端功能的丰富，各种APP应用越来越多，每一种APP都涉及到了用户相关行为的统计分析功能，即所谓的大数据统计分析需求。而为了实现大数据的统计分析，首先必须能够在大范围内收集用户在客户端的行为日志数据，即用户数据记录。现有技术中，用户数据记录技术主要分为两种，一种为客户端记录用户数据，该用户数据实时入数据库；另一种为客户端记录用户数据后，该用户数据存入消息队列或者缓存服务器中，实现异步入数据库。当用户数据数量较大时，第一种方式会对数据库以及数据库服务器造成很大的压力；第二种方式能减小数据库和数据库服务器的压力，但会在消息队列或者缓存服务器中存在瓶颈，最终限制数据库以及数据库服务器的数据吞吐量，整体上降低用户数据的记录效率。

发明内容

针对现有技术存在的不足，本发明的主要目的是提供一种提高数据记录效率的基于第三方的用户数据统计方法及系统。

本发明的上述技术目的是通过以下技术方案得以实现的：

第一方面，提供一种基于第三方的用户数据统计方法。

所述方法包括：

客户端对记录的m条n维用户数据进行一次统计，即将原始数据按列组成n行m列矩阵X；

客户端将一次统计数据发送给统计服务器，统计服务器对接收到的所述一次统计数据进行二次统计，即：

步骤1，将X的每一行(代表一个属性字段)进行零均值化，即减去这一行的均值；

步骤2，求出协方差矩阵C＝1/mXX^T；

步骤3，求出协方差矩阵的特征值及对应的特征向量；

步骤4，将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P；

步骤5，Y＝PX即为降维到k维后的数据；

统计服务器将二次统计数据发送给数据库服务器以使数据库服务器将所述二次统计数据写入数据库。

通过上述设置，对于客户端的数据采集量庞大，通过对数据的整理，采用降维的方式，缩小数据在数据库上的存储量，从而可以提高数据记录的效率以及在不改变硬件服务器数据容量的情况下可以承载更多的数据信息。

作为本发明的具体方案可以优选为：所述客户端获取用户数据的方式包括采集游览器的后台数据记录、用户访问记录。

通过上述设置，客户端借助现有技术，可以很容易的获得需要处理的大量数据，从而借助本方法，实现有效的数据整理，并将数据存储到数据库，结合本发明的技术方案，可以改善现有技术中对于数据的存储的容量问题。

作为本发明的具体方案可以优选为：原始的用户数据包括浏览量,访客数,下单数,成交数,成交金额，并形成5维矩阵。

通过上述设置，在对于一些网店数据统计过程中，通常由于数据量的庞大，系统运行缓慢，采用此5维矩阵，可以有效记录需要处理的数据，并且调取整理方便。

作为本发明的具体方案可以优选为：在数据库服务器写入数据库前，发送数据库请求，多个数据库接收所述请求并根据数据库的冗余量设置应答时间，冗余量越大应答时间设置越小。