[发明专利]一种基于应用层协议技术的数据实时采集存储的方法、系统

权利要求书

1.一种基于应用层协议技术的数据实时采集存储的方法，其特征在于：

客户端按照业务需求使用标准传输协议将实时数据发送至数据传输通道网络入口；

数据传输通道网络将接收到的数据分发至数据转发节点进行数据转发，所述数据转发节点按照标准传输协议将数据转发至数据缓存组件；

数据入库节点按照标准传输协议从数据缓存组件获取数据，进行数据格式校验后，将数据存储入库/文件系统。

2.根据权利要求1所述的基于应用层协议技术的数据实时采集存储的方法，其特征在于，所述标准传输协议定义了实时数据的配置信息，包括唯一的数据传输流水号、部门唯一标识、业务唯一标识、数据行分隔符、数据字段分隔符、数据存储固定目录和数据存储动态目录。

3.根据权利要求1所述的基于应用层协议技术的数据实时采集存储的方法，其特征在于，所述数据转发节点和数据入库节点均为数据传输工具，所述数据传输工具定义了包括数据传输通道网络管理模块、数据传输配置管理模块、数据存储配置管理模块、数据特征配置管理模块和数据传输状态统计管理模块的功能组件；

所述数据传输通道网络管理模块具体为：由大量传输工具组成的数据传输通道网络，用于传输数据；

所述数据传输配置管理模块负责传输工具点对点传输配置信息，包括该节点从上游节点获取数据的方式是主动去取还是被动接收、该节点向下游节点传输数据是主动推送还是被动等待下游获取、上游节点组件类型和下游节点组件类型；

所述数据存储配置管理模块用于配置节点接收到的数据中带有的存储策略，将实时数据按照行分隔符、字段分隔符进行解析，并存储到数据存储固定目录\动态目录下；

所述数据特征配置管理模块用于配置节点所转发的数据格式特征，通过比较节点接收到的数据与节点本地配置信息，对于符合格式要求的数据进行转发，不符合格式要求的数据进行丢弃；

所述数据传输状态统计管理模块统计实时数据在当前节点传输情况。

4.根据权利要求3所述的基于应用层协议技术的数据实时采集存储的方法，其特征在于，所述数据传输通道网络的组建过程为：

步骤(1)：传输工具初始化：传输工具启动后，在服务器本地设置传输工具ID和当前传输工具的所属集群ID；如果当前网络环境中尚未部署其他传输工具，则集群ID设置为当前网络的集群ID；如果当前网络环境中已经部署其他传输工具，则将集群ID与当前其他传输工具设置一致；

设置节点传输配置，设置上游节点组件类型、数据获取方式、下游节点组件类型、数据发送方式；

步骤(2)：传输工具入网：启动配置完成的传输工具，传输工具向网络环境中广播当前传输工具的ID和集群ID；如果当前网络环境中已存在传输集群，则执行步骤3，如果当前网络中尚未部署其他传输工具，则执行步骤4；

步骤(3)：加入现有数据传输通道网络：网络中其他传输工具收到入网请求广播后，检查接收到的集群ID是否与自身集群ID一致，如果一致，则将申请入网传输工具ID所对应的路由信息保存至本地集群管理信息列表中，对本地集群管理信息列表进行更新；申请入网传输工具按照更新后的本地集群管理信息列表发送其配置信息和数据传输状态统计信息，现有数据传输通道网络中各节点将各自的配置信息和数据传输状态统计信息反馈给申请入网传输工具，完成信息同步；

步骤(4)：新建数据传输通道网络：没有收到其他节点反馈，则当前数据传输通道网络中只包含申请入网传输工具，此传输工具作为新的数据传输通道网络。

5.根据权利要求3所述的基于应用层协议技术的数据实时采集存储的方法，其特征在于，所述数据格式校验具体为：数据入库节点中的数据特征配置管理模块对标准协议业务数据中存储的字段进行格式和完整性校验。