[发明专利]一种支持多类型定位硬件数据采集及清洗的方法

说明书

本发明提供一种支持多类型定位硬件数据采集及清洗的方法，涉及数据处理技术领域，包括如下步骤：S1，数据分离，使用spring cloud alibaba微服务技术，将数据采集和业务计算分成不同的微服务集群，从而达到解耦数据采集和业务计算的目的，S2，信息记录，采用生物传感器录入各个公司员工的生物信息，并且对其进行授权处理，本发明中，通过启用定时任务的方式，满足了每小时将多个人在缓存中的坐标数据批量入库的需求，从而减小数据库的写入和储存压力，并且将坐标采集和业务处理的拆分为两个微服务，这样既可以根据硬件的变更修改采集服务集群，也可以根据不同的业务需求迭代业务计算服务集群，使两者不相互影响，使项目高聚合，低耦合。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种支持多类型定位硬件数据采集及清洗的方法。

背景技术

在公司的日常考勤中，公司需要根据不同的定位装置，实现同样的定位数据处理逻辑(如算行走距离，是否在岗，是否认真工作等等业务)。

中国专利CN104732603A公开了“一种基于位置坐标的外勤人员考勤方法”，虽然该专利具备考勤自动完成、考勤随时随地进行、考核效率高、考核结果科学合理、更具时效性的有益效果，但出现公司数量较多的情况时，由于不同公司的装置数据协议、数据格式不一样，从而导致同一套数据处理逻辑代码需要适配不同的定位装置，并且定位数据上传频率高，坐标数据存储量大等难点，增加了数据库的写入和储存压力。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种支持多类型定位硬件数据采集及清洗的方法。

为了实现上述目的，本发明采用了如下技术方案：一种支持多类型定位硬件数据采集及清洗的方法，包括如下步骤：

S1，数据分离，使用spring cloud alibaba微服务技术，将数据采集和业务计算分成不同的微服务集群，从而达到解耦数据采集和业务计算的目的；

S2，信息记录，采用生物传感器录入各个公司员工的生物信息，并且对其进行授权处理，随后将授权后的信息存储至云端服务器中，并且通过每日记录指纹的方式判断员工是否初步到岗；

S3，坐标采集，使用监控器将每个员工的位置与坐标获取；

S4，数据采集，在采集服务中抽象出了一个数据采集接口，当每对接一个新的公司时，我们只需要实现该接口，当服务启动后，系统会自动加载所有可用的采集方式实现类，并调用getCoordinate方法返回统一格式的坐标数据CoordinateInfoMsgVO，再将该数据发送到相应的消息队列；

S5，数据清洗，按顺序消费消息队列数据，并进行数据清洗，再根据该用户最近一次坐标的上报时间(reporDate字段)清洗重复数据，并且判断该员工的坐标是否在考勤范围内，同时计算工作人员处于停留状态的时长与历史轨迹等等业务工作，最后将清洗好的标准数据结构，按顺序缓存到队列中；

S6，数据存储，将缓存队列数据按每小时一条记录的形式保存到数据库。

为了将数据分离，本发明改进有，在步骤S1中，所述spring cloud alibaba微服务技术，是基于SpringCloudalibaba技术搭建的微服务架构，gateway作为网关，nacos作为注册中心。

为了将员工信息采集，本发明改进有，在步骤S2中，所述员工的生物信息包括面容信息和指纹信息。

为了记录历史数据，本发明改进有，在步骤S4中，所述历史轨迹是通过判断此人上一个坐标的经纬度的值与当前消息经纬度的值是否一致的方式来记录，如果不一致则会将当前坐标存入消费队列中，以便于业务计算。