[发明专利]基于微服务架构的数据管理方法、装置、设备及存储介质

说明书

本发明公开了一种基于微服务架构的数据管理方法、装置、设备及存储介质，当检测到数据传输请求时，基于数据输入端适配连接的接入节点接收数据传输请求的输入数据，并将输入数据传输至转换节点；通过转换节点对输入数据进行格式转换，将转换得到的标准数据通过存储节点缓存至数据存储组件；当接收到上层应用发送的数据索引请求时，基于上层应用适配连接的接出节点获取数据存储组件中的标准数据，并将标准数据输出至数据索引请求对应的上层应用。本发明通过对不同数据输入端的输入数据进行接入，并在将输入数据转换为标准数据后输出至相应上层应用，实现对不同数据源中的数据进行管理，有利于提高数据管理的效率。

技术领域

本发明涉及通信技术领域，尤其涉及一种基于微服务架构的数据管理方法、装置、设备及存储介质。

背景技术

在智慧城市/社区应用中，需要连接各种不同通讯方式、通讯能力、通讯协议的数据源，例如人脸抓拍数据、卡口过车数据、门禁刷卡数据、水电气表数据等，并将这些数据汇聚在一起供上层业务平台使用。

针对多样的数据源，传统的方法是针对不同的数据源开发独立的接入网关程序，但这种方法的缺点是接入网关程序的扩展性不好，不同的数据难以相互关联，难以进行集中式的运维管理，使得数据的管理效率低下。

发明内容

本发明的主要目的在于提供一种基于微服务架构的数据管理方法、装置、设备及存储介质，旨在解决对不同数据源的数据进行管理时，管理效率低下的技术问题。

为实现上述目的，本发明实施例提供一种基于微服务架构的数据管理方法，所述基于微服务架构的数据管理方法包括：

当检测到基于数据输入端触发的数据传输请求时，基于所述数据输入端适配连接的接入节点接收所述数据传输请求的输入数据，并将所述输入数据传输至转换节点；

基于所述转换节点对所述输入数据进行格式转换，得到标准数据，并通过存储节点将所述标准数据缓存至数据存储组件；

当接收到上层应用发送的数据索引请求时，基于所述上层应用适配连接的接出节点获取所述数据存储组件中的所述标准数据，并将所述标准数据输出至所述数据索引请求对应的上层应用。

优选地，所述基于所述转换节点对所述输入数据进行格式转换，得到标准数据的步骤包括：

对所述输入数据的格式进行解析，确定所述输入数据是否为标准格式的数据；

若所述输入数据为非标准格式的数据，则获取所述输入数据与所述标准格式的数据之间的转换关系；

基于所述转换关系，通过所述转换节点对所述输入数据进行格式转换，得到标准格式的标准数据。

优选地，所述基于所述转换关系，通过所述转换节点对所述输入数据进行格式转换，得到标准格式的标准数据的步骤之后，还包括：

基于所述转换节点，向所述标准数据中填充元数据，通过所述元数据对所述标准数据进行标识。

优选地，所述通过存储节点将所述标准数据缓存至数据存储组件的步骤包括：

对所述标准数据的文件名进行识别，确定所述标准数据的类型；

若所述标准数据的类型为结构化数据，则通过存储节点将所述标准数据存储至结构化数据对应的数据存储组件；

若所述标准数据的类型为非结构化数据，则通过存储节点将所述标准数据存储至非结构化数据对应的数据存储组件。

优选地，所述通过存储节点将所述标准数据缓存至数据存储组件的步骤之后，还包括：

获取所述标准数据在所述数据存储组件中的存储位置信息；

将所述标准数据的文件名与所述存储位置信息进行关联，并生成索引表。