[发明专利]一种异构数据接入方法和装置在审
| 申请号: | 201810535652.3 | 申请日: | 2018-05-29 |
| 公开(公告)号: | CN110543507A | 公开(公告)日: | 2019-12-06 |
| 发明(设计)人: | 向鹏;何胜锋;刘绪宁 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
| 主分类号: | G06F16/25 | 分类号: | G06F16/25 |
| 代理公司: | 11262 北京安信方达知识产权代理有限公司 | 代理人: | 李红爽;栗若木<国际申请>=<国际公布> |
| 地址: | 英属开曼群岛大开*** | 国省代码: | 开曼群岛;KY |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 事件数据 源数据 异构数据源 业务系统 预设格式 预设 申请 方法和装置 场景 规则引擎 接口协议 事件触发 数据格式 数据获取 数据生成 异构事件 异构数据 映射关系 转换规则 数据源 云端 引擎 过滤 存储 多样性 发送 通用 转换 管理 | ||
1.一种异构数据接入方法,其特征在于,包括:
根据异构数据源的接口协议类型采用对应的数据获取方式接收所述数据源发送的源数据;
根据源数据的数据格式采用预设的转换规则将所述源数据转换为预设格式的数据;
按照预设的映射关系根据预设格式的数据生成事件数据。
2.如权利要求1所述的方法,其特征在于:还包括:
对所述事件数据进行过滤,获得并保存触发事件。
3.如权利要求1所述的方法,其特征在于:所述数据获取方式包括:
主动轮询数据源接口的方式或者监听数据源接口的消息的方式。
4.如权利要求1或3所述的方法,其特征在于:根据异构数据源的接口协议类型采用对应的数据获取方式接收所述数据源发送的源数据包括:
根据异构数据源应用程序编程接口的特点和业务方的开发能力选择对应的数据获取方式;
利用选择的数据获取方式接收所述数据源发送的源数据。
5.如权利要求1所述的方法,其特征在于:根据源数据的数据格式采用预设的转换规则将所述源数据转换为预设格式的数据包括:
根据源数据的数据格式采用预设的转换规则将所述源数据转换为JSON数组格式的数据。
6.如权利要求5所述的方法,其特征在于:
源数据的数据格式包括:XML格式,或者字符串数组,单一字符串。
7.如权利要求1所述的方法,其特征在于:根据预设的映射关系将转换格式后的所述源数据生成事件数据包括:
根据用户设定或者选择的映射关系确定所述源数据的事件字段,提取所述源数据的事件字段中的预设字段作为事件的元信息;
为所述事件设置唯一确定的索引;
将所述事件的元信息和索引合并成事件数据;
其中,所述元信息的含义和作用为预先约定或者配置。
8.如权利要求7所述的方法,其特征在于:确定所述映射关系包括:
根据用户的选择从源数据中确定关键字段作为事件字段,忽略其他未选中的数据字段,检测用户的编排操作,将所述编排过程保存为映射关系。
9.如权利要求8所述的方法,其特征在于:检测用户的编排操作,将所述编排过程保存为映射关系包括:
接收用户使用图形化工具预览选择的事件字段,将选择的所述事件字段以树形结构组织在一起;
接收用户对所述树形结构组织结构编排,将所述编排的过程保存为映射关系。
10.如权利要求2所述的方法,其特征在于:对所述事件数据进行过滤,获得并保存触发事件包括:
根据预设校验规则对事件数据进行校验,删除不满足校验规则的所述事件数据,或者,删除已保存的不满足校验规则的触发事件,保存所述事件数据。
11.一种异构数据接入装置,其特征在于,包括:
适配器模块,设置为根据异构数据源的接口协议类型采用对应的数据获取方式接收所述数据源发送的源数据;
转换模块,设置为根据源数据的数据格式采用预设的转换规则将所述源数据转换为预设格式的数据;
生成模块,设置为按照预设的映射关系根据预设格式的数据生成事件数据。
12.如权利要求11所述的装置,其特征在于:还包括:
存储模块,设置为对所述事件数据进行过滤,获得并保存触发事件。
13.如权利要求11所述的装置,其特征在于:所述适配器模块数据获取方式包括:
主动轮询数据源接口的方式或者监听数据源接口的消息的方式。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810535652.3/1.html,转载请声明来源钻瓜专利网。





