[发明专利]用于集群数据系统的基于列的数据布局技术

说明书

用于为集群数据提供列数据布局的介质管理技术包括一种设备，其具有列可寻址存储器以及连接到存储器的电路。该电路被配置为：以基于列的格式将逻辑矩阵的数据集群存储在列可寻址存储器中；以及以列读取操作从列可寻址存储器中读取数据集群的逻辑列。读取逻辑列可以包括：从列可寻址存储器中对角地读取逻辑列数据，包括从数据集群和从数据集群的复制副本中读取。读取逻辑列可以包括从多个互补逻辑列读取。读取逻辑列可以包括利用模数计数器对角地读取逻辑列数据。可以从基于逻辑列号选择的列地址存储器的分区读取列数据。描述和要求保护其它实施例。

背景技术

基于内容的相似性搜索(或简称为相似性搜索)是巩固机器学习(ML)和人工智能应用(AI)的关键技术。在执行相似性搜索时，诸如表示对象(例如，图像)的数据之类的查询数据被用于搜索数据库以识别表示相似对象(例如，相似图像)的数据。然而，在大规模相似搜索中使用的庞大数据量和丰富性是一个极具挑战性的问题，均是密集型计算和存储。在一些系统中，使用散列方法来执行随机关联搜索的速度比可能的其它方式更快。然而，散列方法通常提供从一个空间(例如，域)到另一空间(例如，域)的不完美的数据转换，并且与使用待搜索的数据的原始空间进行搜索相比，可能产生退化(例如，就准确性而言)的搜索结果。

给定现代数据库的大小(数十亿条目的数量级)，随机关联存储器的搜索速度可能无法应付当前的吞吐量需求(每秒数万或数十万量级搜索)。为了提高有效搜索速度，可以将数据库分区为集群。每个集群具有相关联的代表。将搜索查询与所有集群代表进行比较，然后探索数据库的子集。探索数据库可以包括在所选集群中合并数据库条目，并取回该集合中最相似的要素。

附图说明

在附图中，以示例而非限制的方式示出了本文所述的构思。为了图示的简明和清楚起见，附图中图示的元素不一定按比例绘制。在认为适当的地方，在附图中重复使用附图标记以指示对应或类似的元素。

图1是用于使用列读取启用存储器为集群数据提供列数据布局的计算设备的至少一个实施例的简化图；

图2是包含于图1的计算设备中的存储器介质的至少一个实施例的简化图；

图3是在双列直插式存储器模块(DIMM)中图1的计算设备的存储器介质的至少一个实施例的简化图；

图4是可由图1-3的计算设备处理的集群数据集的简化图；

图5是可由图1的计算设备执行的用于集群数据访问的方法的至少一个实施例的简化流程图；

图6是示出可以用图5的方法访问的集群数据的存储器布局的示意图；

图7是可由图1的计算设备执行的用于集群数据访问的方法的至少一个实施例的简化流程图；

图8和图9是示出可以用图7的方法访问的集群数据的存储器布局的示意图；

图10是可以由图1的计算设备执行的用于集群数据访问的方法的至少一个实施例的简化流程图；

图11是示出可以用图10的方法访问的集群数据的存储器布局的示意图；

图12是可以由图1的计算设备执行的用于集群数据访问的方法的至少一个实施例的简化流程图；以及

图13是示出可以用图12的方法访问的集群数据的存储器布局的示意图。

具体实施方式

虽然本公开的构思易于进行各种修改和替代形式，但是其具体实施例已经通过示例在附图中示出并且将在本文中详细描述。然而，应当理解，无意将本公开的构思限制为所公开的特定形式，而是相反，其意图是覆盖与本公开和所附权利要求一致的所有修改、等同物和替代物。