[发明专利]一种基于应用层协议技术的数据实时采集存储的方法、系统

说明书

本发明公开了一种基于应用层协议技术的数据实时采集存储的方法、系统，系统包括标准传输协议制定模块、传输工具部署模块、数据传输通道网络组建模块和数据实时采集存储模块，方法具体为：客户端按照业务需求使用标准传输协议将实时数据发送至数据传输通道网络入口；数据传输通道网络将接收到的数据分发至数据转发节点进行数据转发，其中数据转发节点按照标准传输协议将数据转发至数据缓存组件；数据入库节点按照标准传输协议从数据缓存组件获取数据，进行数据格式校验后，将数据存储入库/文件系统。本发明适用场景多、通用性强。

技术领域

本发明属于大数据技术领域，具体涉及一种基于应用层协议技术数据实时采集存储的方法、系统。

背景技术

随着数字经济高速发展，大数据应用向各行业加速渗透，数据要素的价值挖掘已成为各行企业数字化转型的关键因素，尤其是金融、互联网等服务型企业，均有数据实时采集场景需要，如通过互联网网络爬虫获取数据、归集政府各部门的涉企数据、采集系统埋点数据等等。

主流数据实时采集流程主要包括3部分，客户端(A端)将生产的实时数据发送到自定义的数据接收接口(B端)，数据接收接口将接收到的数据转发至数据缓存组件(如kafka等C端)，数据消费者(如flume等D端)从数据缓存中获取数据后写入数据库完成数据采集(即A→B→C→D→数据库)。该业务流程对于不同数据接入场景，存在通用性差、标准化不足的弊端，如不同的公司、不同的团队，B端所用的数据接收接口多为定制化开发，没有统一的标准支持接收不同格式的数据，经常导致同一公司各业务团队各自定制化开发B端采集工具；同时数据消费者D端写数据时均是写入默认目录，无法根据数据本身特征(如采集时间或业务部门)动态地将数据写入不同的目录下，导致数据采集之后经常需要进行二次分类管理。

发明内容

针对现有技术中存在不足，本发明提供了一种基于应用层协议技术的数据实时采集存储的方法、系统。

本发明是通过以下技术手段实现上述技术目的的。

一种基于应用层协议技术的数据实时采集存储的方法：

客户端按照业务需求使用标准传输协议将实时数据发送至数据传输通道网络入口；

数据传输通道网络将接收到的数据分发至数据转发节点进行数据转发，所述数据转发节点按照标准传输协议将数据转发至数据缓存组件；

数据入库节点按照标准传输协议从数据缓存组件获取数据，进行数据格式校验后，将数据存储入库/文件系统。

进一步的技术方案，所述标准传输协议定义了实时数据的配置信息，包括唯一的数据传输流水号、部门唯一标识、业务唯一标识、数据行分隔符、数据字段分隔符、数据存储固定目录和数据存储动态目录。

进一步的技术方案，所述数据转发节点和数据入库节点均为数据传输工具，所述数据传输工具定义了包括数据传输通道网络管理模块、数据传输配置管理模块、数据存储配置管理模块、数据特征配置管理模块和数据传输状态统计管理模块的功能组件；

所述数据传输通道网络管理模块具体为：由大量传输工具组成的数据传输通道网络，用于传输数据；

所述数据传输配置管理模块负责传输工具点对点传输配置信息，包括该节点从上游节点获取数据的方式是主动去取还是被动接收、该节点向下游节点传输数据是主动推送还是被动等待下游获取、上游节点组件类型和下游节点组件类型；

所述数据存储配置管理模块用于配置节点接收到的数据中带有的存储策略，将实时数据按照行分隔符、字段分隔符进行解析，并存储到数据存储固定目录\动态目录下；

所述数据特征配置管理模块用于配置节点所转发的数据格式特征，通过比较节点接收到的数据与节点本地配置信息，对于符合格式要求的数据进行转发，不符合格式要求的数据进行丢弃；

所述数据传输状态统计管理模块统计实时数据在当前节点传输情况。