[发明专利]一种基于区块链和分布式存储的大文本存储、索引及检索方法

权利要求书

1.一种基于区块链和分布式存储的大文本存储、索引及检索方法，包括如下步骤：

(1)将大文本数据存储到分布式存储网络中，分布式存储网络为大文本数据分配唯一标识doc_id，并且通过doc_id对大文本的数据进行寻址；

(2)对大文本数据进行分词处理，生成关键词列表，并基于所有关键词构建关键词倒排索引表keywords_index_table，使每个关键词哈希keyword_hash指向大文本数据的唯一标识doc_id；

(3)将索引表keywords_index_table存储到分布式存储网络中，并将其唯一标识keywords_index_table_id和索引表名称keywords_index_table_name存储到区块链网络中具体智能合约的数据结构中；

(4)在智能合约中建立一种特殊的类型bigtext，通过该类型声明的变量将会被映射为分布式存储网络中的相应索引表keywords_index_table，其变量名称与对应索引表keywords_index_table绑定，且与变量相关的大文本数据一同被存入分布式存储网络中，并得到一个唯一标识进行寻址，同时大文本数据也会被构建索引到索引表keywords_index_table中。

2.根据权利要求1所述的大文本存储、索引及检索方法，其特征在于：所述类型bigtext的变量名称根据索引表keywords_index_table所满足的功能进行制定，且与索引表名称keywords_index_table_name一致。

3.根据权利要求1所述的大文本存储、索引及检索方法，其特征在于：所述智能合约开放有写入接口和检索接口，写入接口用于接受变量名称及大文本数据，将对应大文本数据存入分布式存储系统并为其构建索引表keywords_index_table；检索接口用于接受变量名称及关键词，并返回符合条件的文档列表。

4.根据权利要求3所述的大文本存储、索引及检索方法，其特征在于：所述步骤(2)通过以下两个程序实现：

分词程序，用于对大文本数据进行分词处理，生成关键词列表，并将关键词列表传递给索引表构建程序；

索引表构建程序，用于对关键词列表进行哈希运算，并基于关键词哈希keyword_hash构建关键词倒排索引表keywords_index_table，使每个关键词哈希keyword_hash指向大文本数据的唯一标识doc_id。

5.根据权利要求4所述的大文本存储、索引及检索方法，其特征在于：所述智能合约写入接口的具体功能实现过程如下：

1.1根据变量名称，通过合约虚拟机的程序自动查找到该变量名称所关联的索引表唯一标识keywords_index_table_id，并通过该唯一标识，从分布式文件系统中读取对应的索引表数据；

1.2自动调用分词程序对大文本数据进行分词，生成关键词列表，并将关键词列表传递给索引表构建程序；

1.3自动调用索引表构建程序对大文本数据的关键词列表进行哈希运算，并基于关键词哈希keyword_hash构建关键词倒排索引表keywords_index_table，使关键词哈希keyword_hash指向大文本数据的唯一标识doc_id。

6.根据权利要求4所述的大文本存储、索引及检索方法，其特征在于：所述智能合约检索接口的具体功能实现过程如下：

2.1根据变量名称，通过合约虚拟机的程序自动查找到该变量名称所关联的索引表唯一标识keywords_index_table_id，并通过该唯一标识，从分布式文件系统中读取对应的索引表数据；

2.2根据关键词，计算关键词哈希keyword_hash，并通过关键词哈希keyword_hash搜索索引表keywords_index_table，获取对应的doc_id列表；然后，根据doc_id列表从分布式存储网络中读取对应的大文本数据，并返回给用户，进而对返回结果中每个大文本数据进行针对关键词的匹配度计算，所得的匹配度分数用于对返回结果进行排序。