[发明专利]一种数据治理方法、装置、电子设备和可读存储介质

说明书

本发明公开了一种数据治理方法、装置、电子设备和可读存储介质。所述方法包括：接收数据资产配置信息；根据所述数据资产配置信息，创建与实体数据源对应的数据资产模型；响应于数据资产预览请求，根据所述数据资产模型对实体数据源中的数据进行解析，展示解析结果。有益效果在于，可以利用数据资产模型对实体数据源的数据资产进行自动化、快速的解析，从而得到解析结果，提高了工作效率。

技术领域

本发明涉及数据资产领域，具体涉及一种数据治理方法、装置、电子设备和可读存储介质。

背景技术

随着信息技术的发展，市场主体在日常经营中积累了大量的与资产与交易紧密关联的数据，并呈现将进一步扩增的趋势。但从数据质量上来看，数据质量往往呈现参差不齐的特点,有的甚至无法进行数据质量评估。数据资产的有效管理和质量维护可以充分利用和挖掘数据价值，进而提升企业竞争力。因此为了提高数据资产的价值和管理水平，需要从字段级别、表级别规则，对数据质量进行评估以帮助用户了解资产的质量情况，根据质量评估情况，再针对性对数据进行打点调整，清洗，优化等数据处理工作。但目前的现有技术中针对不同数据类型且数量庞大的数据资产，解析效果和解析效率不佳。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据治理方法、装置、电子设备和可读存储介质。

依据本发明的一个方面，提供了一种数据治理方法，包括：

接收数据资产配置信息；

根据所述数据资产配置信息，创建与实体数据源对应的数据资产模型；

响应于数据资产预览请求，根据所述数据资产模型对实体数据源中的数据进行解析，展示解析结果。

可选地，所述实体数据源为分布式文件存储系统，所述实体数据源中的数据为日志数据。

可选地，所述数据资产配置信息包括：实体数据源的数据类型；

所述根据所述数据资产模型对实体数据源中的数据进行解析包括：选择与所述数据资产模型中配置的数据类型相匹配的数据解析规则，对实体数据源中的数据进行解析。

可选地，该方法还包括：

接收符合所述数据类型的数据样例；

根据与所述数据类型相匹配的数据解析规则对所述数据样例进行解析，展示解析结果。

可选地，所述数据类型为数组类型，所述方法还包括：接收数组分隔符标识，根据所述数组分隔符标识确定与所述数组类型相匹配的数据解析规则。

可选地，所述数据类型为Nginx日志类型，所述与所述数据资产模型中配置的数据类型相匹配的数据解析规则为：根据默认Nginx日志配置信息和/或自定义Nginx日志配置信息确定的数据解析规则。

可选地，所述数据类型为字符串类型，所述与所述数据资产模型中配置的数据类型相匹配的数据解析规则为：正则表达式解析规则。

可选地，所述数据类型为json类型，所述与所述数据资产模型中配置的数据类型相匹配的数据解析规则为：json对象解析规则。

依据本发明的另一方面，提供了一种数据治理装置，包括：

接收单元，接收数据资产配置信息；

模型单元，根据所述数据资产配置信息，创建与实体数据源对应的数据资产模型；

解析单元，响应于数据资产预览请求，根据所述数据资产模型对实体数据源中的数据进行解析，展示解析结果。

可选地，所述实体数据源为分布式文件存储系统，所述实体数据源中的数据为日志数据。