[发明专利]分布式大数据的清理方法

权利要求书

1.一种分布式大数据的清理方法，其特征在于，

终端获取分布式大数据的数据存储时间，将存储时间大于时间阈值的数据确定为待清理数据；

终端对待清理数据的第一清理数据执行关联操作，该关联操作具体包括：查找清理数据的关联数据的数量α，

终端确定数量α大于数量阈值，将该第一清理数据保留，若确定数量α小于数量阈值，将该第一清理数据清理。

2.根据权利要求1所述的方法，其特征在于，若该第一清理数据为图片，查找清理数据的关联数据的数量α具体包括：

确定清理数据的第一图片，对第一图片进行识别确定是否具有人物，若具有人物，将该人物从第一图片中删除得到第一背景图片，将第一背景图片进行分类识别得到第一背景图片对应的地标信息，依据该地标信息确定该第一背景图片的第一地址，从分布式大数据存储的图片中查询与该第一地址匹配的图片，将图片的数量确定为α。

3.根据权利要求2所述的方法，其特征在于，所述从分布式大数据存储的图片中查询与该第一地址匹配的图片具体包括：

对该人物进行人脸识别确定该人物的身份，依据该身份确定该人物的常驻城市，若该常驻城市包含该第一地址，则确定与该第一地址匹配的图片为与第一地址匹配的图片，若该常驻城市不包含该第一地址，则确定该第一地址对应的第一城市，确定与该第一城市匹配的图片为与第一地址匹配的图片。

4.根据权利要求1所述的方法，其特征在于，若将该第一清理数据保留，所述方法还包括：

终端确定该第一清理数据的类型为图片数据时，对图片数据中的每张图片执行方格操作得到操作数据；该方格操作具体可以包括：对一张图片建立网格，计算每个网格之间的相似度，将相似度大于相似阈值的网格确定为相似网格组，设置位图表示相似网格组的在一张图片的位置，相似网格组存储一个网格的像素数据，将剩余网格组的像素数据删除完成一张图片的方格操作；

相似度的计算方式具体包括：依据每个网格的像素点的R、G、B值以及像素点的在网格的位置建立三维矩阵m*n*3，其中，m表示三维矩阵的长度值、n表示三维矩阵的宽度值，3表示深度值，每个深度对应R、G、B的值，计算二个网格的2个三维矩阵的差值得到三维差值矩阵，统计三维差值矩阵中元素值小于数值像素阈值的数量x，相似度=x/( m*n*3)*100%。