[发明专利]数据处理方法、电子设备及可读存储介质在审
申请号: | 202210317485.1 | 申请日: | 2022-03-29 |
公开(公告)号: | CN114676138A | 公开(公告)日: | 2022-06-28 |
发明(设计)人: | 谢超;葛希;龙际全;栾小凡 | 申请(专利权)人: | 上海徐毓智能科技有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2455;G06F16/31;G06F16/33 |
代理公司: | 上海华诚知识产权代理有限公司 31300 | 代理人: | 肖华 |
地址: | 200082 上海市杨*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 电子设备 可读 存储 介质 | ||
本申请涉及计算机技术领域,具体涉及一种数据处理方法、电子设备及可读存储介质。其中的数据处理方法包括:接收数据查询请求;确定查询请求对应的目标数据集,以及确定目标数据集的至少一个数据子集和每个数据子集对应的索引信息集;在目标数据集的多个索引信息集的第一信息和第二信息中确定匹配于数据查询请求的目标索引信息以及目标索引信息对应的目标数据实体。本申请实施例中的数据处理方法增加了字符串类型数据的存储与查询,丰富了对数据实体的查询能力。
技术领域
本申请涉及计算机技术领域,具体涉及一种数据处理方法、电子设备及可读存储介质。
背景技术
随着计算机技术的发展,数据量越来越多,数据处理的难度也在不断升高。其中数据包括结构化数据和非结构化数据。结构化数据一般将其处理为二维表结构来表现,结构化数据可以例如数字、日期、字符串数据等。非结构化数据一般将其处理为向量,非结构化数据可以例如图片、视频、文本数据等。
对于非结构化数据,目前计算机一般将其处理为向量类型数据,在针对一个既包含结构化数据又包含非结构化数据的数据实体进行数据存储时,在存储区域划分为非字符串型的标量列和向量列进行存储,或者在存储区域划分为非字符串型的标量行或向量行进行持久化存储,并构建向量列的索引。当需要进行数据查询时,会根据查询请求生成关于向量列的过滤条件,依照构建的向量列的索引,对向量列数据进行过滤。例如,对于人脸图像,进行数据处理后得到表征人脸数据的向量类型的非结构化数据,然后结合人脸图像的年龄的标量类型的结构化数据,将其存储为表征人脸数据的向量列和表征年年龄的标量列,其中人脸图像和其对应的年龄可以作为一个数据实体。
上述数据处理方法,在对数据实体进行查询时,仅支持非字符串型的标量类型数据和向量类型数据的查询,可查询数据类型少、数据查询效率较低,进而使得计算机对于数据实体的查询能力不高。
发明内容
本申请实施例提供了一种数据处理方法、电子设备及可读存储介质,增加了字符串类型数据的存储与查询,丰富了对数据实体的查询能力。
第一方面,本申请实施例提供了一种数据处理方法,用于电子设备,包括:
接收数据查询请求;
确定所述查询请求对应的目标数据集,以及确定所述目标数据集的至少一个数据子集和每个数据子集对应的索引信息集,其中,所述数据子集包括多个数据实体,且所述多个数据实体中的部分数据实体包括字符串类型的第一数据和非字符串类型的第二数据;并且,所述索引信息集中至少包括用于表征所述数据子集中的第一数据和字符串索引的对应关系的第一信息,和用于表征所述数据子集中的所述字符串索引与所述数据实体的对应关系的第二信息;
在所述目标数据集的多个索引信息集的所述第一信息和所述第二信息中确定匹配于所述数据查询请求的目标索引信息以及所述目标索引信息对应的目标数据实体。
本申请实施例提供的数据处理方法,通过对包括字符串数据的目标数据集的查询,可以实现对非结构化数据的字符串数据的查询,扩展了可查询的数据类型。同时,字符串数据和非字符串数据的查询可以同时进行,丰富了对数据实体的查询能力。
在上述第一方面的一种可能的实现方式中,所述用于表征所述数据子集中的第一数据和字符串索引的对应关系的第一信息为字典树信息。
在上述第一方面的一种可能的实现方式中,所述数据查询请求中包括字符串类型的第三数据;
所述在所述目标数据集的多个索引信息集的所述第一信息和所述第二信息中确定匹配于所述数据查询请求的目标索引信息以及所述目标索引信息对应的目标数据实体,包括:
确定所述目标数据集的所述至少一个数据子集的状态信息,所述状态信息包括封存状态和生长状态;
若所述至少一个数据子集处于所述封存状态,则根据所述字典树信息,确定所述第三数据对应的目标字符串索引为所述目标索引信息;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海徐毓智能科技有限公司,未经上海徐毓智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210317485.1/2.html,转载请声明来源钻瓜专利网。