[发明专利]提取装置、数据处理系统和提取方法

说明书

技术领域

本发明涉及一种用于执行查询并处理流数据和存储在数据库中的数据的数据处理系统、一种用在数据处理系统中用于从查询中提取将要转换为对流数据进行处理的程序的转换对象的提取装置、一种用于提取转换对象的方法、以及一种用于使计算机执行该方法的提取程序。

背景技术

随着诸如IC标签、IC卡等的传感器、诸如在线购物和在线游戏等在线服务、装载有GPS(全球定位系统)的蜂窝电话和智能电话、以及连接至网络的汽车导航系统的广泛使用，这些传感器等不断生成大量的数据。称为流数据的大量数据在网络上流动并存储在数据库中用于分析等目的。

通过向管理数据库的数据库管理系统(DBMS)发出查询并在DBMS中执行查询，来从数据库获得所需的数据。该查询可使DBMS执行除获取数据之外的处理，诸如数据的更新、添加和删除。

近年来，由于全球变暖等影响，风速和雨量瞬息万变，并且，有时仅几分钟的延迟疏散都会引起灾难。为了识别这类突变并实现快速疏散，需要能够实时获取气流数据和降雨数据的高速查询。

数据库中存储了大量的数据，并且，搜索并获取所需数据需要一定时间。虽然这取决于机器的数据量和吞吐量，但是，也可能要花上几分钟到几小时的时间。这使得不可能应付要求实时获取数据的情况。

因此，已经提出了在流数据存储到数据库中之前对将要输入数据库的流数据进行处理的技术(例如，见专利文献1至4)。根据这些技术，由于对流数据进行了搜索等处理，因此，可实时获取数据。

[引用列表]

[专利文献]

[专利文献1]JP2006-338432A

[专利文献2]JP2010-108073A

[专利文献3]JP2010-217968A

[专利文献4]JP2011-059967A

发明内容

[技术问题]

在处理流数据的情况下，要求注册查询并且连续地对连续输入的流数据执行查询。为此，描述用于流数据的指令的查询利用例如SPL(流处理语言)等流数据处理语言进行说明。通过编译这类查询被转换为用于处理流数据的程序，称为流数据处理代码，并且通过执行该代码来执行该处理。

另一方面，在处理存储在数据库中的数据的情况下，如上所述的，由于难以用相同的流数据处理语言描述例如对由数据库持有的多个表进行搜索的多个查询，所以，利用例如SQL等数据库查询语言。

已经需要使用不同语言所描述的查询以用于处理流数据和存储在数据库中的数据。由此，在现有技术中，还无法通过使用一个查询对流数据和存储在数据库中的数据进行高效处理。

在处理流数据的情况下，流数据曾被存储在存储器中，然后所存储的数据经受处理。流数据需要被存储在存储器中。然而，当流数据为大量数据时，由存储数据而导致的存储器不足可使系统瘫痪。

此外，为了实现强实时性，需要使用具有严格存储器限制的设备，诸如客户端计算机和边缘服务器；由此，易于发生存储器不足和系统瘫痪。

因此，已经需要提供一种能够防止发生存储器不足并且能够通过一个查询对流数据和存储在数据库中的数据两者都进行高效处理的装置和方法。

[解决方案]

针对这些问题，本发明提供了一种提取装置，用于从查询中提取作为转换对象将要被转换为对连续地输入数据库的流数据进行处理的程序的子查询，所述查询包括作为子查询将要发往用于管理数据库的数据库管理系统的一个或多个指令，所述提取装置包括：输入单元，其用于接收查询、使用量随着对流数据的处理而增加的存储器的最大存储增加量、以及作为每单位存储增加量的处理时间的效率的下限值的输入，与数据库管理系统执行查询的情况相比，当流数据由程序处理时处理时间减少了；操作单元，其用于计算当包括在查询中的每个子查询被转换为程序并且于是处理流数据时的至少一个存储增加量，以及与由数据库管理系统执行的情况相比当流数据被处理时将要减少的处理时间，以及通过使用至少一个计算得到的存储增加量和将要减少的处理时间来计算效率；以及提取单元，其用于选择至少一个效率等于或高于下限值的子查询，对针对所选的子查询计算得到的存储增加量进行合计，并且，在合计得到的存储增加量等于或小于最大存储增加量的情况下，将所选的子查询提取作为转换对象。

[本发明的有利影响]

本发明使得有可能防止发生存储器不足并且通过使用一个查询对流数据和存储在数据库中的数据执行处理。

附图说明

图1是本发明实施例的数据处理系统的整体配置图；