[发明专利]数据处理系统以及数据处理方法

说明书

实施方式的数据处理系统具有：第1数据存储装置和第2数据存储装置(62a、62b)，它们具有能够永久地存储数据的存储介质；数据保持装置(61)，其具有与所述第1数据存储装置和第2数据存储装置(62a、62b)相比能够以高速存储所述数据的存储介质；以及控制器(63)，其对作为处理对象的数据的种类进行判别，在作为所述处理对象的数据是实现了结构化的数据的情况下，将作为所述处理对象的数据存储于所述数据保持装置(61)，并且将作为所述处理对象的数据集中存储于所述第1数据存储装置(62a)，在作为所述处理对象的数据是二进制数据的情况下，将作为所述处理对象的数据存储于所述数据保持装置(61)，并且将作为所述处理对象的数据存储于所述第2数据存储装置(62b)。

技术领域

本发明的实施方式涉及数据处理系统以及数据处理方法。

背景技术

近年来，将各种传感器(Sensor)、设备(Device)和网络(Network)连接而进行数据的灵活运用的IoT(Internet of Things)受到关注。在IoT中，从各种各样的传感器、设备等持续地收集数据。由此，需要对每1个数据大小较小的大量时间序列数据进行积蓄的数据库系统(Database system)。

另外，作为灵活运用IoT的例子的一部分的、进行故障预测等的应用(Application)，在传感器数据的基础上还利用由照相机(Camera)拍摄的图像等数据。图像等数据的特性与通常的传感器数据的特性不同。图像等数据由二进制数据(Binary data)构成。二进制数据是文件大小较大、且未实现结构化的数据。

根据以上特性，要求面向IoT的数据处理系统是根据数据的种类而选择适当的数据积蓄方法的系统。

另外，在IoT的灵活运用例的多数情况下，以从设备、传感器在最近的定时获取的数据为基础而进行分析、预测、致动(Actuation)等。因此，下面的(1)、(2)为系统的特征。

(1)按照时间序列以高频将数据写入至存储装置

(2)在所有数据中参照在时间序列方面属于最新的区分的值的频率较高

并且，IoT系统的代表性的灵活运用例，通常基于利用长期存储(记录、积蓄)的数据的分析以及实时(Real time)分析进行异常检测等。因此，存在下述的(1)、(2)所示的要求。

(1)与时间序列数据建立关联地永久地对传感器数据进行积蓄，以批量(Bulk)的方式进行处理

(2)以较高的速度获取最新的数据

根据以上要求，要求面向IoT的系统是兼顾与时间序列数据建立关联的数据的永久的积蓄和最新的数据的获取的高速性的数据处理系统。

已有的数据处理系统如通常的计算机(Computer)的结构那样由下面的(1)、(2)构成。

(1)一种存储装置，如硬盘(Hard disk)等那样容量通常较大、且能够永久地对数据进行存储，但数据的读取速度不太高

(2)一种数据保持装置，其如设置于存储器(Memory)的缓存(Cache)等那样数据的读取速度较高，但容量通常较小、且无法永久地保存数据。

发明内容

通常的数据处理系统为了提高数据的检索速度而具有将索引(Index)保持于存储器的结构。然而，索引的数量根据数据数量而增加。因此，在如传感器数据那样对数量非常多的数据进行处理的情况下，产生如下问题，即，索引的生成成为写入数据时的瓶颈(Bottleneck)，并且索引的数据大小超过能够存储于存储器的数据大小。

并且，对于传感器数据而言，参照(读入)最新的区分值的频率较高。因此，即使针对所有数据都生成索引，该索引的大部分也未被参照。因此，基于索引的高速化的效果较小。