[发明专利]一种多维数据接入方法及系统、大数据接入系统

说明书

本发明属于大数据处理技术领域，公开了一种多维数据接入方法及系统、大数据接入系统，将不同地点的，或具有不同功能的，或拥有不同数据的多台计算机通过通信网络连接起来，在统一管理控制下，协调地完成大规模信息处理任务的计算机系统。同时分布式系统下的数据库系统与传统的数据库不同，由于多维数据接入方法系统对数据库的优化处理，也源自于多维数据接入方法系统对技术的封装，更高效、更快速的对海量结构化数据进行处理导致多维数据接入方法系统能够完美的兼容不同类型的数据库，更能将数据库的功效发挥到极致。本发明实时接入爬取的原始数据，为使用者提供垂直领域提供各类数据的接入以及留档；同时提供的统计以及告警功能。

技术领域

本发明属于大数据处理技术领域，尤其涉及一种多维数据接入方法及系统、大数据接入系统。

背景技术

目前，业内常用的现有技术是这样的：多维数据接入方法适用于接入实时数据和离线数据，实时数据通过流式处理实时响应，离线数据通过分布式计算并行处理。国内其他的接入方法主要是接入关系型数据库和非关系型数据库中的一种，但是需要在一个接入方法中对不同类型数据库进行操作，这些单一的接入方法就很难实现需求。每次接入新的数据源都会带来开发、测试、调试和运维等多方面工作，还有可能由于数据源驱动版本不一致问题导致性能和稳定等问题。

综上所述，现有技术存在的问题是：

(1)灵活配置，通过版本选择自动适配不同的数据源；

(2)通过元数据管理，实现数据接入的字段映射；

(3)默认集成多种ETL处理方法；减少二次开发；

解决上述技术问题的难度和意义：多维数据接入方法是一种分布式ETL解决方案，利用Hadoop平台的数据处理能力，能够有效的处理非结构化和半结构化的数据，并由用户来指定数据属性和预制的数据处理组件，灵活对各种类型的海量数据进处理。大数据应用于各行各业，接入的数据类型繁多，各个数据类型的接入方式和结构都不尽相同，由于各个类型的差异，每一种类型都需要单独的开发工作来匹配数据，目前绝大多数据接入系统缺乏复用性和灵活性，当遇到不同需求时就需要从新开发一套新的接入系统，然而多维数据接入方法通过可配置的原则实现海量数据的实时及离线接入可以根据不同需要进行，多维数据接入方法系统填补了我国在此项技术上的空白。

发明内容

针对现有技术存在的问题，本发明提供了一种多维数据接入方法及系统、大数据接入系统。

本发明是这样实现的，一种多维数据接入方法，所述多维数据接入方法将不同地点的，或具有不同功能的，或拥有不同数据的多台计算机通过通信网络连接，在统一管理控制下，完成大规模信息处理任务的计算机系统；同时对分布式系统下的数据库系统兼容不同类型的数据库。

接入的数据分为批次数据和流式数据，批次数据按照整批数据进行获取，再进行单条数据清洗，流式数据使得每条数据都在内存中做数据清洗，清洗流程首先对数据url进行判别，确保同一个url只会处理一次；数据处理前由元数据制定数据标准，支持对不同的字段制定隐射关系，从而在数据接入时对字段进行标准化转换；每一条数据都会归属到一个数据源，数据源可以统一维护，由不同的通道接入来的数据可以参照数据源表进行统一规范，其中包括数据源的名称、地址、国家、省份、城市和语言；由于接入的数据质量是数据处理的基础，为了保证每一条数据质量，可以对每一条数据进行乱码处理；

上述的数据处理完成后，即可具备入库条件，入库数据会实时统计，由于每个通道的数据阀值是预先设定好的，所以在实时统计的同时，会按照数据阀值进行跟踪，低于阀值的通道会第一时间通知到预警联系人；

多维度的数据接入可以确保数据的准确性、实时性和完整性，是所有做数据处理的基础条件。