[发明专利]一种动态的基于大数据技术的场所出入次数异常计算方法

权利要求书

1.一种动态的基于大数据技术的场所出入次数异常计算方法，其特征在于，通过如下步骤实现：

大数据迁移和清洗，将RDBMS中的用户出入记录数据迁移到Hadoop大数据集群的Hive数据仓库中，使用HDFS文件系统的MapReduce分布式计算进行批处理，将重复数据和无效数据去除；

聚合某个场所每日进/出的次数的均值，在Hive数据仓库中，基于YARN计算引擎，采用MapReduce分布式计算，根据公式r=c/m，得到某个场所每天的平均进/出的次数，并将该平均值作为新的列项添加到过程表中，其中，c是该场所当日进/出次数的总数，m是该场所当日进/出的总人次，r是该场所当日进/出次数的平均值；

聚合每人每日进/出每个场所的次数，使用HQL语句聚合出某场所每个人每日进/出的次数x_i；

计算某场所每日进/出次数的标准差，公式（一）为标准差的计算公式，公式（二）为标准差平方的公式，得到方差，其中xi为某人某日在某场所进/出的总次数， r 为某场某日进/出次数的平均值， n 为某场所某日进/出的总人数

公式（一）：

公式（二）：s2=[ (x1-r)2 + (x2-r)2 + ...... + (xn-r)2 ] / (n)

人员某日进/出某个场所的次数异常判断，将异常值定义如下公式（三）所示，公式（三）：|x - r| 2 × σ(r)，

公式（四）：|x - r|² 4 × s²，

其中各参数代表内容见步骤4）中的公式（一）和公式（二），满足公式（四）的x值，即为异常进/出次数，对应的人员、日期、场所信息都输出到异常进/出数据库表中。