[发明专利]数据处理装置以及数据处理方法

说明书

本发明的第1方式所涉及的数据处理装置具有：第1存储部，其能够对数据进行永久保存；第2存储部，其读入速度比所述第1存储部的读入速度快；处理部，其将由数据发生源产生的数据保存于所述第1存储部，在由所述数据发生源产生的数据符合预先登记的检索条件的情况下，将由所述数据发生源产生的数据进一步保存于所述第2存储部；以及检索部，其响应来自应用程序的数据处理请求而与所述第1存储部相比优先检索所述第2存储部。

技术领域

本发明涉及用于高速地进行庞大的数据向数据库的存储以及针对数据库的数据参照的技术。

背景技术

近年来，IoT(Internet of Things)受到关注，即，将各种装置/传感器与网络连接，灵活运用从上述装置/传感器收集的数据。在IoT中从多个装置/传感器收集数据，因此需要具有能够存储大量轻量数据的数据库的数据处理装置。

在灵活运用IoT的例子的多种情况下，利用从装置/传感器获取的最近的数据进行分析、预测以及致动等。关于这方面，下面的2点成为数据库的特征。

1.按照时间序列顺序高频地进行数据的写入。

2.参照所有数据中的按照时间序列属于最新区分的值的频率较高。

并且，作为灵活运用IoT的代表性的例子，基于利用长期存储的数据的分析、实时分析而进行异常检测等。关于这方面，针对数据处理装置而要求下面的2点。

1.能够永久存储数据而进行批量处理。

2.能够高速地获取数据的最新值。

即，针对面向IoT的数据处理装置而要求能够兼顾数据的永久性和获取最新值的高速性。

如通常的计算机的结构那样，已有的数据处理装置由如下2种构成：能够永久记录数据但数据读入速度并非高速的硬盘等存储装置；以及能够实现高速的数据读入但容量较小且无法永久保存数据的存储器上的缓存器等数据保存部。

当前的数据处理装置为了使数据的检索实现高速化而具有将索引保存于存储器的结构。然而，在如传感器数据那样数据数量非常大的情况下，根据数据数量而增加的索引的生成成为数据写入时的瓶颈，并且索引有时未完全存入存储器。并且，在传感器数据中，参照最新区分的值的频率较高，因此即使对所有数据都生成索引，其大部分也未被参照，基于索引的高速化的效果较小。

并且，当前的数据处理装置具有为了实现数据读入的高速化而利用缓存器使得相同的数据的参照实现高速化的结构。然而，有限容量的缓存器中保存大量的传感器数据的最新值并不现实，在此基础上，对于按照时间序列顺序始终更新最新值的传感器数据，相同数据的参照频率较低，因此基于缓存器的高速化的效果较小。

这样，在利用索引或者单纯地使用缓存器的当前的技术中，难以兼顾传感器数据等数据的高速处理以及永久化。

在IoT领域中，除了要求大量数据的处理以外，长期的分析和实时分析这二者有可能成为对象，因此要求保存数据的永久性以及最新值的高速且高频的参照。然而，在当前的数据处理装置中，对于大量数据，难以同时实现写入速度以及数据参照速度的提高和保存数据的永久性。

发明内容

本发明就是鉴于上述情形而提出的，其目的在于提供能够实现保存数据的永久性以及高速的数据处理的数据处理装置以及数据处理方法。

本发明的第1方式的数据处理装置具有：第1存储部，其能够对数据进行永久保存；第2存储部，其读入速度比所述第1存储部的读入速度快；处理部，其将由数据发生源产生的数据保存于所述第1存储部，在由所述数据发生源产生的数据符合预先登记的检索条件的情况下，将由所述数据发生源产生的数据进一步保存于所述第2存储部；以及检索部，其响应来自应用程序的数据处理请求而与所述第1存储部相比优先检索所述第2存储部。