[发明专利]一种流式数据的治理方法、装置、电子设备和存储介质

说明书

本发明公开了一种流式数据的治理方法、装置、电子设备和存储介质。所述方法包括：响应于流式资产的创建请求，提供流式资产模型的配置界面；通过所述配置界面接收流式资产配置信息，根据所述流式资产配置信息创建与指定流式数据源对应的流式资产模型；所述流式资产配置信息至少包括指定流式数据源的访问配置信息；根据所述流式资产模型响应数据资产管理请求。其有益效果在于，可结合流式资产配置信息，通过流式资产模型实现对流式数据资产的综合管理，可以有效提升流式资产管理的工作效率，提高对数量庞大的流式资产的管理水平和质量控制水平。

技术领域

本发明涉及数据资产领域，具体涉及一种流式数据的治理方法、装置、电子设备和存储介质。

背景技术

随着信息技术的发展，市场主体在日常经营中积累了大量的与资产与交易紧密关联的数据，并呈现将进一步扩增的趋势。但从数据质量上来看，数据质量往往呈现参差不齐的特点,有的甚至无法进行数据质量评估。数据资产的有效管理和质量维护可以充分利用和挖掘数据价值，进而提升企业竞争力。因此为了提高数据资产的价值和管理水平，需要从字段级别、表级别规则，对数据质量进行评估以帮助用户了解资产的质量情况，根据质量评估情况，再针对性对数据进行打点调整，清洗，优化等数据处理工作。但是现有技术方案对流式数据资产的管理效率低下、效果不佳，导致流式数据质量参差不齐,不能充分利用流式数据资产的价值。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种流式数据的治理方法、装置、电子设备和存储介质。

依据本发明的一个方面，提供了一种流式数据的治理方法，包括：

响应于流式资产的创建请求，提供流式资产模型的配置界面；

通过所述配置界面接收流式资产配置信息，根据所述流式资产配置信息创建与指定流式数据源对应的流式资产模型；所述流式资产配置信息至少包括指定流式数据源的访问配置信息；

根据所述流式资产模型响应数据资产管理请求。

可选地，所述访问配置信息包括如下的至少一种：

集群信息，账号信息，存储信息。

可选地，所述流式资产配置信息还包括如下至少一项的模型基本信息：

模型名称，模型类别，安全级别，模型实体，实体数据源的数据结构，实体数据源的业务表类型，模型标签，模型描述信息。

可选地，所述流式资产配置信息包括如下至少一项的字段配置信息：

字段物理名称，字段逻辑名称，数据类型，长度，精度，默认值，是否允许为空，是否应用数据元素，数据标识、字段描述信息。

可选地，所述流式资产配置信息包括模型生命周期信息；

所述模型生命周期信息包括：以模型生命周期执行如下的至少一种模型操作：暂不处理、数据归档、数据清理。

可选地，所述流式资产配置信息包括数据安全配置信息；

所述根据所述流式资产模型响应数据资产管理请求包括：响应于数据资产预览请求，根据流式资产模型从实体数据源中读取相应的数据，根据所述数据安全配置信息对读取的数据进行安全处理后再展示。

可选地，所述流式资产配置信息包括数据解析配置信息，所述根据所述流式资产模型响应数据资产管理请求包括：

响应于数据资产预览请求，根据所述流式资产模型对实体数据源中的数据进行解析，展示解析结果。

可选地，所述流式资产配置信息包括质量稽核配置信息，所述根据所述流式资产模型响应数据资产管理请求包括：

响应于质量稽核请求，根据所述流式资产模型对实体数据源中的数据进行质量稽核。