[发明专利]一种基于区块链和分布式存储的大文本存储、索引及检索方法

说明书

本发明公开了一种基于区块链和分布式存储的大文本存储、索引及检索方法，其首先将大文本数据存储到分布式存储网络中，分布式存储网络为该大文本数据分配唯一标识doc_id，并且通过doc_id对该大文本的数据进行寻址，然后对大文本行分词和检索处理。本发明将区块链智能合约技术与分布式存储网络技术结合起来，能够实现在区块链上低成本地进行大文本数据存储，并且快速精准地进行内容检索，使需要大文本数据的DAPP在技术上成为了可能，在成本上降低了门槛。

技术领域

本发明属于智能合约与区块链数据存储技术领域，具体涉及一种基于区块链和分布式存储的大文本存储、索引及检索方法。

背景技术

一般说来，区块链网络由数据层、网络层、共识层、激励层、合约层和应用层组成。其中，数据层封装了底层数据区块以及相关的数据加密和时间戳等技术；网络层则包括分布式组网机制、数据传播机制和数据验证机制等；共识层主要封装网络节点的各类共识算法；激励层将经济因素集成到区块链技术体系中来，主要包括经济激励的发行机制和分配机制等；合约层主要封装各类脚本、算法和智能合约，是区块链可编程特性的基础；应用层则封装了区块链的各种应用场景和案例。基于时间戳的链式区块结构、分布式节点的共识机制、基于共识算力的经济激励和灵活可编程的智能合约是区块链技术最具代表性的创新点。在此基础上，可以将交易数据存储在不可篡改的区块中，并将区块按照时间顺序串连形成区块链，通过非对称加密签名保证交易的安全，通过常见的POW或POS等共识算法，使整个网络达成一致，通过P2P技术实现消息的传输与数据的同步。该技术的优势是具有防篡改、透明及去中心化等特性，可以在一个缺乏信任的网络中实现安全交易和数字资产保护。

比特币发布之后，其和法定货币相比，没有一个集中的发行方，而是由网络节点的计算生成，谁都有可能参与制造比特币，而且可以全世界流通，其背后的区块链技术就迅速得到了人们的认同，并得到了快速的发展，之后由第二代区块链技术以太坊发扬光大。以太坊为区块链引入了图灵完备的编程框架“智能合约”，以太坊是一个平台和一种编程语言，使开发人员能够建立和发布下一代分布式应用，以太坊可以用来编程、分散、担保和交易任何事物如投票、域名、金融交易所、众筹、公司管理、合同和大部分的协议、知识产权，还有得益于硬件集成的智能资产，使人们可以基于它在区块链上运行分布式应用DAPP，使区块链的行业落地成为可能，进一步激发了区块链技术的繁荣。

传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。并且，分布式存储网络是一种基于p2p技术的分布式文件系统，可以将文件分片之后，分发到p2p网络的节点上进行分布式存储，相对于传统的中心化存储系统，具有安全性高，存取速度快，成本低等优点。

在区块链上开发DAPP的时候，出于业务需要，我们需要在智能合约中存储各种形式的数据，但是其存储成本是很高的，需要大量的手续费，只适合存储一些关键的小量数据，非常不适合大规模的数据存储，这无疑不利于区块链的大规模应用。例如对于新闻媒体、电子合同等需要存储大量大文本的应用来说，昂贵的存储成本将使其难以上链。

另外，对于链上大文本数据来说，大文本(或大二进制)数据的存储操作具有一定的特殊性，主要体现在以下三个方面：一是大文本对象不能用一般的字符串函数进行操作，只能用PowerBuilder提供的BLOB编辑函数操作；二是由于所要操纵的文本对象过大，需要编制输出输入函数(或过程)进行预先处理；三是存储BLOB记录对事务对象有特定的要求，数据的检索也是一个难题，很难根据用户意图获取到准确的数据，而数据的获取是应用中一个最基本的需求。

发明内容