[发明专利]一种支持逻辑电路快速查询的存储器装置及其访问方法

说明书

技术领域

本发明涉及一种存储器及其查询数据的方法，特别是涉及一种支持逻辑电路快速查询的存储器装置及其访问方法。

背景技术

当今信息技术的发展及创新正使各个产业发生改变，在信息爆炸时代产生了海量数据。而数据正渗透到当今每一个行业和业务职能领域，成为重要的生产因素。各行各业海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来，正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。

大数据是一个数据巨大，结构复杂，类型众多的数据构成的数据集合，一方面是数据容量的不断扩大，数据集合的范围已经从兆字节(MB)到吉字节(GB)再到太字节(TB)，甚至还有拍字节(PB)、艾字节(EB)和泽字节(ZB)的计数单位出现。著名咨询公司IDC的研究报告称，未来十年全球大数据将增加50倍。仅在2011年，就有1.8ZB(也就是1.8万亿GB)的大数据创建产生。这相当于每位美国人每分钟写3条微博，而且还是不停地写2.6976万年。在未来十年，管理数据仓库的服务器的数量将增加10倍以便迎合50倍的大数据增长。截止到2012年，数据量已经从TB(1024GB＝1TB)级别跃升到PB(1024TB＝1PB)、EB(1024PB＝1EB)乃至ZB(1024EB＝1ZB)级别，另一方面，日益增长的集成式大数据已不再适宜于用当前管理数据库的工具来进行分析处理。其难点包括：数据的抓取，存储，检索，共享，分析以及可视化等。

海量数据时代，人们已经不再为数据匮乏而苦恼，信息也变得不再昂贵，而如何从海量数据中获得数据却变得越发昂贵，如何在海量数据中快速准确抓取用户所需要的数据成为现在社会关注的重点也是当下急需要解决的难点。当前，各行业对海量数据需求的趋势越来越呈现以下方面：1：期望实时决策；2：希望在面临风险的情况下做出决策；3：希望在适当的时间及时的提供产品；4：用户希望很好的体验；5：需要及时及正确的应对任何问题。传统用户所用的信息检索方式如图1所示。用户通过服务器系统向存储器系统中发送数据请求，数据中心服务器收到命令开始从存储系统中查询和搜索用户所需要的数据信息，显然，CPU只能直接处理内存中的数据信息，CPU先从内存中搜索数据，如不命中则从存储器系统中搜索查询，然后将查找的到数据的整个块搬至内存中，然后再将结果返回至用户端。显然，从海量数据中搜索出有价值的数据会耗费大量CPU的时间，将数据从存储系统导入内存中，造成了大量的数据迁移，致使系统功耗增加。对于日益庞大的数据系统来说，从存储器系统向服务器内存中导入数据时限制处理器处理速度的一个大瓶颈，因为我们知道，不管是什么存储器系统，其对其数据读写速率要远远小于对内存数据的读写速率。

如何解决传输瓶颈成为了关键的问题。目前，为了提高服务器处理器处理数据的速度，可采用IMC(IMC，In Memory Computation)技术来提高处理速度，该技术是通过增加内存的容量，从而可以一次性导入更多的数据量，从而加快处理器处理数据的速率。这样的方法在一定程度上可以提高数据处理的速度，但是一定数量的处理器核的内存容量是一定的，当想要更大的内存就需要增加更多数量的处理器核，这样就增加了成本，且增加各个处理器核之间的协调工作的难度，这样的架构也无法充分发挥多CPU内核的潜在的高性能，且数据经存储器系统经内存到CPU，数据吞吐瓶颈依然存在，存储设备只“存放”数据，耗时的计算仍然习惯性在CPU完成，并且由于内存是易失性的存储器，需要定时刷新数据，所以造成的功耗也非常的大。

如此庞大的数据库中用户真正感兴趣的信息往往只是冰山一角，处理器大部分时间在搜索和查询那些用户真正需要的数据，大大浪费了时间和资源。存储器系统都有控制器，它们的任务是对存储单元进行控制盒管理，例如磨损均衡、模块选择、错误纠察、数据读写等任务，大部分时间处于空闲状态，但是控制器是通过虚拟内存地址来管理存储器，造成了执行效率不高，且有一定出错概率。

综上所述，如何减少甚至杜绝数据迁移来提高系统效率的关键，如何利用存储器中的控制器并且如何提高存储器控制器的执行效率及管理存储器地址的方法，是我们急需要解决的问题。

因此，有必要提出一种支持逻辑电路快速查询的存储器装置及其访问方法，来解决上述问题。

发明内容