[发明专利]一种面向虚拟实验的非结构化数据访问方法

摘要

本发明公开了一种面向虚拟实验的非结构化数据访问方法，步骤为：①为了避免大量小文件访问的磁盘IO、提高吞吐量，将对应于一个具体实验元器件的全部文件视为一个实验元器件对象，以该对象作为数据访问的最小单元；②数据更新操作所占比重较低，采用消息队列执行此类操作，数据修改操作异步执行，将应用与数据解耦，同时也解决了数据并发写入时的合并问题；③由于实验文件类型、格式不一，每一类数据都有其对应的解析模式，在进行数据解析时动态绑定相对应的模式；④根据虚拟实验中数据的学科相关性与具体实验相关性，预先加载热点访问数据所在学科或具体实验中定义的所有数据，与此同时，采用级联缓存结构，自顶向下缓存粒度逐渐加大，上层为下层缓存数据的子集；⑤为了独立于平台与语言，采用基于HTTP协议的REST架构，针对用户数据需求提供多种类型的RESTful接口，并提供基于URI的安全认证机制与复杂查询方法。

主权项

一种面向虚拟实验的非结构化数据访问方法，其特征在于，其步骤包括：(1)用户访问相应资源的URI，数据请求方法如果为POST，则进入步骤(2)执行POST请求；数据请求方法如果为GET，则进入步骤(3)执行GET请求；数据请求方法如果为DELETE，则进入步骤(4)执行DELETE请求；(2)POST数据请求处理：(2.1)进行安全认证，校验请求URI是否合法，如果不合法则结束该次请求；否则，对传入的数据进行哈希运算得到其键值，读取该类型数据对应的模式，进行数据提取，然后进入步骤(2.2)；(2.2)在文档数据库中匹配是否存在相同键值的数据，如果存在则进入步骤(2.3)，否则进入步骤(2.4)；(2.3)更新文档数据库中信息，进行数据缓存，返回该键值；并结束该次请求；(2.4)在文档数据库中添加该数据，进行数据缓存，返回该键值并结束该次请求；(3)GET数据请求处理流程包括对数据本身的GET请求以及对数据索引的GET请求两个部分：(3.1)数据GET请求：(3.1.1)进行安全认证，校验请求URI是否合法，如果不合法则结束该次请求；否则，进入步骤(3.1.2)；(3.1.2)按照请求URI提供的键值，从系统缓存中获取其对应的数据，数据不为空则返回该数据，结束该次请求；否则，进入步骤(3.1.3)；(3.1.3)按照请求URI提供的键值，从文档数据库获取器对应的数据，如果不为空则进入步骤(3.1.4)；否则，直接返回空数据结束该次请求；(3.1.4)返回数据，进行数据缓存，结束该次请求；(3.2)列表GET数据请求处理：(3.2.1)进行复杂查询，获取满足查询语句的最终结果集；根据用户在URI中的设定，设置返回列表数据格式；(3.2.2)返回列表数据，然后对该请求URI进行哈希，进行数据缓存，结束该次请求；(4)DELETE数据请求处理：(4.1)进行安全认证，校验请求URI是否合法，如果不合法则结束该次请求；否则，进入步骤(4.2)；(4.2)按照请求URI提供的键值，从文档数据库将该键值对应的数据标记为不可用，进入步骤(4.3)；(4.3)删除系统缓存中该键值对应的数据，并返回该键值、结束该次请求。