[发明专利]一种基于企业大数据平台的企业数据雷达监控方法及系统

说明书

技术领域

本发明涉及网络技术领域，具体而言，涉及一种基于企业大数据平台的企业数据雷达监控方法及系统。

背景技术

随着经济的发展，每年新增大量的企业，企业也会根据市场的需要变更业务等其他方面的信息，同一行业的企业针对不同的用户也各具不同的优势，了解和跟踪行业内企业信息的变化，对于用户选择合适的企业进行合作是重要的指引和参考。因此，市面上出现很多提供企业信息查询的产品。

企业信息的获取，通常通过网络爬虫从互联网上获取，通过数据库进行保存；进一步利用网络爬虫定期采集企业信息，并通过和存储在本地的信息进行比较来获取最新的企业数据。但是，在对新旧数据比较的过程中，经常会出现需要处理的特殊数据，它们表达的意思相同但是数据格式却并不相同，如果不加以人工干预会出现错误的企业信息。

现有的对企业信息存储的数据库通常采用关系型数据库进行组织，对于多维度的企业信息处理效率低下，扩展性能不好，无法适应用户个性化的需求，比如用户自定义组装维度。

另外，对于网络爬虫采集的源数据，有时会出现大量的错误信息，比如将属性A的数据值错误地替换成属性B的数据值，导致企业信息数据不够精确。

不同的用户需要不同的维度信息，对于获取到的最新的企业信息，如何根据不同的用户有针对性的推送用户自定义组装的维度信息，也是亟待解决的问题。

发明内容

本发明提出一种基于企业大数据平台的企业数据雷达监控技术，其目的在于解决至少一种上述技术问题，从而提高数据更新的效率和精确度，快速精确推送用户关注数据，并支持用户自定义接收企业细化的各维度数据。

为了实现上述目的，本发明采用如下技术方案：

根据本发明的一方面，提供一种基于企业大数据平台的企业数据雷达监控方法，所述方法包括：

通过至少一台服务器实时获取第一企业数据实体，所述第一企业数据实体为最新的企业数据实体；

获取当前数据库中存储的第二企业数据实体，利用雷达监控技术自动比较所述第一企业数据实体和第二企业数据实体；

根据预设规则审核机制对比较结果集进行自定义排查，若是正常变更，则更新数据库，若比较结果异常，则重新获取第一企业数据实体进行所述比较和排查，所述异常次数超过阈值时，向系统发出错误通知

向关注企业的用户实时地推送变更信息的通知。

优选地，所述雷达监控技术包括：通过底层映射技术自动获取所述第一企业数据实体和第二企业数据实体下所有的属性，通过GetValue获取所述属性的数据值，比较所述两个数据实体对应属性的数据值。

优选地，在对所述对应属性的数据值进行所述比较之前，还包括数据格式预处理，将获取的相同属性的数据值进行统一格式处理。

优选地，所述异常为比较结果存在问题数据，所述问题数据是数据错位、股东全部删除或主要人员全部删除。

优选地，通过消息队列技术(MQ)发送所述错误通知。

优选地，通过消息队列技术(MQ)实时向所述用户推送所述变更信息的通知。

优选地，所述通知是系统通知、短信通知或邮件通知的任一个，或所述通知类型的任意组合。

优选地，所述向用户推送变更信息的通知还包括：根据用户自定义接收的企业细化的各维度数据，用户可以根据推送的数据格式自定义组装维度。

优选地，所述数据库为文档类型的非关系型数据库。

优选地，所述非关系型数据库是：mongoDB。

根据本发明的另一方面，提供了一种基于企业大数据平台的企业数据雷达监控系统，所述系统包括：

最新企业数据获取模块，当前企业数据获取模块，企业数据实体数据库，雷达监控比较模块，消息推送模块；

最新企业数据获取模块，用于获取企业的最新数据，企业数据实体数据库用于管理企业数据信息，雷达监控比较模块用于最新数据和当前数据的比较，消息推送模块用于向用户推送变更信息的通知。

优选地，最新企业数据获取模块可以根据需要部署到多台服务器，互联网上实时获取企业信息的源数据，保证所采集到的企业数据实体是最新的，

当前企业数据获取模块从本地数据库获取当前企业数据；

优选地，企业数据实体数据库采用非关系型数据库(NoSql)组织存储企业数据信息；

优选地，采用文档型NoSql数据库，例如mongoDB；数据库中存储的文档同样包括多个维度的属性，和网络爬虫采集的企业数据实体源数据多个维度相对应；