[发明专利]基于大数据的无效标签清除方法及装置、设备与可读介质

说明书

本发明提供一种基于大数据的无效标签清除方法及装置、设备与可读介质。其方法包括：在标签引擎系统中，从各用户持有的标签信息记录中，获取用户标识与持有的标签的对应关系；基于所述用户标识与持有的标签的对应关系，对所述标签引擎系统中的所有标签进行扫描，获取不存在各所述用户的所述对应关系中的标签，作为无效标签；对所述无效标签进行清除。本发明通过采用上述技术方案，能够完全自动化实现对标签引擎系统中的无效标签进行清除，清除范围覆盖全量的执行任务，能够完全清除冗余无效的标签。与现有技术的人工清理相比，不仅能够有效地节省人力成本，而且整个过程耗时更短，与人工清理的结果相比，准确性更高。

【技术领域】

本发明涉及计算机应用技术领域，尤其涉及一种基于大数据的无效标签清除方法及装置、设备与可读介质。

【背景技术】

近年来，随着用户对互联网的依赖，基于互联网所产生的大数据的量级越来越高。

现有技术中，为了方便对存储的大数据进行访问、搜索和管理等操作，在用户与存储大数据的存储系统之间建立有相应的标签引擎系统，并设置相应的数据计算处理引擎。用户可以通过在标签引擎系统中设置标签任务，并基于标签任务和存储的大数据中的数据的属性，从大数据中获取相应的数据，并通过数据计算处理引擎进行计算处理。例如，本实施例的标签任务可以基于大数据中的数据属性直接建立，或者也可以经过对大数据中的数据属性进行分析而建立。现有的标签引擎系统，通常情况下，单用户持有自己创建的独用的标签任务。但是在有些场景下也需要提供共享服务，为了使得其他共享用户的正常使用，创建标签任务的用户在使用完创建的标签任务后，仅在用户态做停止标识符变更，而在标签引擎系统中，其他用户还是可以调用该标签，此时该标签任务还是继续存在的。另外，开发人员的一些未知操作，也会造成的没有用户使用的标签任务插入。

基于以上所述，可以知道现有技术的存储大数据的存储系统中，会存在许多冗余的无效标签，造成大量的资源浪费。为了清除这些无效标签，现有技术中通过人工介入，采用人工清理的方式清除无效标签，但是，人工清理过程中，不仅费时费力，而且准确性较差，无效保证100％的准确操作。

【发明内容】

本发明提供了一种基于大数据的无效标签清除方法及装置、设备与可读介质，用于提高无效标签清除效率和准确性。

本发明提供一种基于大数据的无效标签清除方法，所述方法包括：

在标签引擎系统中，从各用户持有的标签信息记录中，获取用户标识与持有的标签的对应关系；

基于所述用户标识与持有的标签的对应关系，对所述标签引擎系统中的所有标签进行扫描，获取不存在各所述用户的所述对应关系中的标签，作为无效标签；

对所述无效标签进行清除。

进一步可选地，如上所述的方法中，对所述无效标签进行清除，包括：

按照预设的清除策略，对所述无效标签进行清除。

进一步可选地，如上所述的方法中，所述预设的清除策略包括在预设的固定时间清除所述无效标签，或者在检测到所述标签引擎系统的性能参数小于预设阈值时对所述无效标签进行清除。

进一步可选地，如上所述的方法中，基于所述用户标识与持有的标签的对应关系，对所述标签引擎系统中的所有标签进行扫描，获取不存在所述对应关系的标签，作为无效标签之后，所述方法还包括：

将所述无效标签存储在一无效标签集合中；

对所述无效标签进行清除，具体包括：

对所述无效标签集合中的所有标签进行清除。

本发明提供一种基于大数据的无效标签清除装置，所述装置包括：

获取模块，用于在标签引擎系统中，从各用户持有的标签信息记录中，获取用户标识与持有的标签的对应关系；