[发明专利]一种多维数据接入方法及系统、大数据接入系统

权利要求书

1.一种多维数据接入方法，其特征在于，所述多维数据接入方法将不同地点的，或具有不同功能的，或拥有不同数据的多台计算机通过通信网络连接，在统一管理控制下，完成大规模信息处理任务的计算机系统；同时分布式系统下的数据库系统兼容不同类型的数据库。

2.如权利要求1所述的多维数据接入方法，其特征在于，所述多维数据接入方法实时接入爬取的原始数据，为使用者提供垂直领域提供各类数据的接入以及留档；进行初级的治理加工，提供给下一层的治理使用，同时提供统计及告警功能。

3.一种实现权利要求1～2任意一项所述多维数据接入方法的大数据接入系统。

4.一种如权利要求1所述多维数据接入方法的多维数据接入系统，其特征在于，所述多维数据接入系统包括：

去重模块，用于按照数据类型分别用url去重，当发生url重复时，对进入的数据将被过滤；

转换模块，用于将供应商的数据映射到译见统一的字段上；

媒体源处理模块，用于在数据中心的运行管理平台管理，支持词典的手动修改；同时，实时加载改动之后的词典项；

国家治理模块，用于利用运行管理平台提供的国家中英名称以及别名字典，新闻数据中的国家名进行治理；

乱码识别模块，用于识别标题正文中的js脚本；

数据预警模块，用于为每一类数据设定预警阀值，通过各类数据的数据量统计，当数据没有达到阀值时进行实时预警；

统计模块，用于对各类数据进行实时的数据量统计，每隔一段时间输出一次统计结果，然后清零。

5.一种应用权利要求4所述多维数据接入系统的大数据接入系统。