[发明专利]数据字典生成方法、数据查询方法、装置、设备及介质

说明书

本发明公开了一种数据字典生成方法、装置、计算机设备及存储介质，获取第一待存储数据，第一待存储数据包括第一拼音节点和第二拼音节点；基于第一拼音节点和第二拼音节点，在预设的第一数据字典中进行查询，确定第一索引序列和第二索引序列；采用CSR方法对第一索引序列和第二索引序列进行处理，得到候选索引组；在预设的第二数据字典中查询每一候选索引组的候选频率值，从候选索引组中筛选出候选频率值符合预设要求的目标索引组；将待存储数据和目标索引组进行映射存储，生成第三数据字典；通过结合第一数据字典和第二数据字典恢复得到第三数据字典，从而解决了数据存储时的信息冗余问题。

技术领域

本发明涉及云存储领域，尤其涉及一种数据字典生成方法、数据查询方法、装置、设备及介质。

背景技术

随着互联网的快速发展和社会各领域信息化水平的提高，数据量正以史无前例的速度井喷，人类正在进入大数据时代。在信息管理系统中，通常会使用数据字典来存储数据。目前基于分词的字典库一般需要1gram词频字典、1gram拼音-同音词映射字典、2gram词频以及2gram拼音-同音词映射字典这4类底层字典，且这四类底层字典需分别独立存储，在算法加载字典时不但要分别加载为四个HashMap，且需分别保存字典中的一一映射关系。因此，采用这种传统的数据字典的存储方式往往会造成较大的信息冗余和空间浪费。

发明内容

本发明实施例提供一种数据字典生成方法、装置、计算机设备及存储介质，以解决数据存储时的信息冗余问题。

本发明实施例提供一种数据查询方法、装置、计算机设备及存储介质，以解决数据查询的效率不高问题。

一种数据字典生成方法，包括：

获取第一待存储数据，所述第一待存储数据包括第一拼音节点和第二拼音节点；

基于所述第一拼音节点和所述第二拼音节点，在预设的第一数据字典中进行查询，确定第一索引序列和第二索引序列，其中，第一拼音节点指通过1gram对第一待存储数据进行句子划分之后得到的第一个拼音数据；第二拼音节点指通过所述1gram对第一待存储数据进行句子划分之后得到的第二个拼音数据；所述第一索引序列为所述第一拼音节点在所述第一数据字典中匹配到的1gram拼音节点所对应的索引序列，所述第二索引序列为所述第二拼音节点在所述第一数据字典中匹配到的1gram拼音节点所对应的索引序列；

采用CSR方法对所述第一索引序列和所述第二索引序列进行处理，得到候选索引组；所述采用CSR方法对所述第一索引序列和所述第二索引序列进行处理，得到候选索引组，包括：将第一索引序列作为矩阵的行，将第二索引序列作为矩阵的列；通过CSR方法中的行向量与列向量，确定矩阵中第一索引序列所对应行的列索引数组，再将第一索引序列所对应行的列索引数组与第二索引序列做交集处理，得到候选索引组；

在预设的第二数据字典中查询每一所述候选索引组的候选频率值，从所述候选索引组中筛选出所述候选频率值符合预设要求的目标索引组；

将所述待存储数据和所述目标索引组进行映射存储，生成第三数据字典。

一种数据查询方法，包括：

获取第一待查询数据，将所述第一待查询数据在第三数据字典中查询，确定所述第一待查询数据的待查询索引组，其中，所述第三数据字典是采用所述的数据字典生成方法得到的；

基于所述待查询索引组在第四数据字典的存储数组中查询，得到所述第一待查询数据的目标字符串，其中，所述第四数据字典是指用于存储第六索引值与对应的样本频率值的词频字典。

一种数据字典生成装置，包括：

第一获取模块，用于获取第一待存储数据，所述第一待存储数据包括第一拼音节点和第二拼音节点；