[发明专利]一种支持多元异构类型数据的接入配置系统

说明书

本发明提出了一种支持多元异构类型数据的接入配置系统，包括：统计模块用于对接入的多源异构类型的数据进行多维度的数据统计，并每隔预设时间通过可视化界面显示统计结果；数据源管理模块用于接入的第三方数据源，支持Restful API关系型数据库、ESB接口、WebService、Socket，支持用户登录验证；源接口管理模块用于管理数据源下的数据接口接入，配置数据源下各种数据接口，并支持数据加密；接口管理模块用于管理数据接口的输出，将多种格式的原始数据，按照用户的自定义的数据项标准化输出。本发明提供可视化界面，省去编码负担；提供数据的统一接口；可在可视化界面自定义清洗规则，为用户提供个性化服务。

技术领域

本发明涉及大数据处理技术领域，特别涉及一种支持多元异构类型数据的接入配置系统。

背景技术

目前，针对多元异构数据的接入需要进行测试对比、接入、清洗、融合到之后的应用都需要跨部门沟通和协调，这样费时费力，效率低，成本高。

并且在数据清洗阶段目前的数据清洗都需要先设计清洗策略，然后通过代码编写的方式实现清洗逻辑，这样的数据清洗的方式比较繁琐。

而且，接口之间可能从属于一个功能模块，彼此之间相互联系，但接口与接口之间是独立的，这样就可能会造成接口间的联系不紧密。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种支持多元异构类型数据的接入配置系统。

为了实现上述目的，本发明的实施例提供一种支持多元异构类型数据的接入配置系统，包括：统计模块、数据源管理模块、源接口管理模块和接口管理模块，其中，所述统计模块用于对接入的多源异构类型的数据进行多维度的数据统计，并每隔预设时间通过可视化界面显示统计结果；所述数据源管理模块用于接入的第三方数据源，支持Restful API关系型数据库、ESB接口、WebService、Socket，支持用户登录验证；所述源接口管理模块用于管理数据源下的数据接口接入，配置数据源下各种数据接口，并支持数据加密；所述接口管理模块用于管理数据接口的输出，将多种格式的原始数据，按照用户的自定义的数据项标准化输出。

进一步，所述统计模块进行多维度的数据统计，包括：对当日接口调用量、页面访问量、每周访问量进行数据统计。

进一步，所述数据源管理模块还用于支持连接时长控制、参数配置和json的连接方式，支持系统参数和在线联调测试。

进一步，所述源接口管理模块还用于配置数据接口返回代码及代码值，支持数据接口在线热插拔，支持接口联调测试。

进一步，所述源接口管理模块还用于对接入的接口响应参数，根据配置的清洗规则进行数据清理。

进一步，所述配置清洗规则，包括：配置参数名、规则名称、过滤规则，通过界面配置实现数据的清洗工作，提供算子级的逻辑操作方法。

进一步，所述根据配置的清洗规则进行数据清理，包括如下步骤：首先对数据进行统一格式转换，输出一维格式数据；其次根据配置的算子逻辑对转换后的数据进行逻辑运算，最终将符合逻辑的数据进行输出，得到过滤后的响应参数。

进一步，所述源接口管理模块还用于提供接口聚合功能，根据配置的聚合数据源接口，后台通过java多线程进行并行异步调用，对返回的数据根据聚合规则进行合并处理，并统一输出，将聚合后的多接口定义为模板。

进一步，所述源接口管理模块还用于在同一模板下对各个接口自定义优先级，包括：根据模板中配置的接口优先级，根据优先级由高到低的顺序，后台程序依次进行请求，并对结果进行解析处理。