[发明专利]一种报文解析方法、装置、设备和存储介质

说明书

本发明实施例公开了一种报文解析方法、装置、设备和存储介质，涉及计算机技术领域，该方法包括：通过当前Flink节点的Source模块获取消息队列中的原始报文，对原始报文进行解析，得到解析结果；通过Source模块将解析结果发送给当前Flink节点的Transform模块；通过Transform模块将解析结果或对解析结果执行预设计算操作后的计算结果，发送给sink模块进行输出。采用本发明实施例的技术方案，可以解决传统报文解析方式无法很好地利用机器的并行计算能力、资源分配较麻烦的问题，不仅可以在上层应用层面大幅降低报文解析耗时，还能改善机器资源在报文解析过程中的自由分配过程，提高报文解析的效率。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种报文解析方法、装置、设备和存储介质

背景技术

现有行业对实时数据的传输过程通常采用Kafka作为消息队列，而交易报文计算解析处理的过程则是利用底层的纯Java或Python多线程编程技术来实现报文解析处理逻辑。

上述利用底层的纯Java或Python的开发部署过程，往往只能在单台机器上部署任务程序，无法轻松做到多台机器并行执行分布式计算。对上游数据量压力较大场景常常无法做到快速处理，其相应对交易报文的解析耗时也会上升。

发明内容

本发明实施例提供了一种报文解析方法、装置、设备和存储介质，以实现报文解析的超低耗时，降低计算资源分配难度。

第一方面，本发明实施例提供了一种报文解析方法，包括：

通过当前Flink节点的源Source模块获取消息队列中的原始报文，对所述原始报文进行解析，得到解析结果；

通过所述Source模块将所述解析结果发送给当前Flink节点的转换Transform模块；

通过所述Transform模块将所述解析结果或对所述解析结果执行预设计算操作后的计算结果，发送给输出sink模块进行输出。

第二方面，本发明实施例还提供了一种报文解析装置，配置于Flink节点中，所述装置包括：

源Source模块，用于获取消息队列中的原始报文，对所述原始报文进行解析，得到解析结果；将所述解析结果发送给当前Flink节点的转换Transform模块；

Transform模块，用于将所述解析结果或对所述解析结果执行预设计算操作后的计算结果，发送给输出sink模块；

sink模块，用于将接收到的所述解析结果或所述计算结果进行输出。

第三方面，本发明实施例提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的报文解析方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的报文解析方法。