[发明专利]一种信息处理的方法和系统

说明书

本发明实施例公开了一种信息处理的方法和系统，该方法可以包括：获取待处理的移动网络日志数据；根据已注册的实时处理模型实例对所述待处理的移动网络日志数据进行实时处理，获取实时处理结果；根据已注册的离线处理模型实例对所述待处理的移动网络日志数据，并结合所述中间数据进行预设的数据挖掘处理，获取离线处理结果；按照应用程序编程接口API的调用策略将所述实时处理结果和/或所述离线处理结果进行返回。能够将针对移动网络的DPI日志数据所进行的离线计算和实时计算进行结合，并且提高了对计算模型扩充的灵活度。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种信息处理的方法和系统。

背景技术

随着移动互联网的不断发展，每天在运营商的管道上都会产生大量的各类移动网络的深层报文检测(DPI，Deep Packet Inspect)日志。这些DPI日志不仅包括了用户的通话记录，还包括用户对移动网络的使用日志；因此，这些DPI日志具有数据量大，实时性高等特点。这些日志蕴含着用户的使用习惯及需求信息，合理的对这些日志数据进行分析和挖掘能够为用户提供精细化及个性化服务提供良好的数据基础。

针对DPI日志数据量大，实时性高等特点，目前对移动网络的DPI日志进行分析和数据挖掘的系统，通常采用基于Twitter所提出的Lambda架构思想，该架构下把针对日志文件进行离线计算和实时计算统一起来。离线计算与实时计算分成了两个部分(即两种数据处理框架)进行实现：离线计算使用的是基于Hadoop MapReduce框架的离线处理平台，实时计算使用的是基于storm框架的实时处理平台，从而导致了两种数据处理框架的分离和孤立。

而且，由于两种孤立的数据处理框架，就使得Lambda架构对于计算模型是固定，当需要对计算模型进行扩充时，例如：离线计算模型中有MapReduce模型和BSP模型，HadoopMapreduce框架只支持MapReduce模型，如果对于某个特定的计算模型需要在BSP模型中运行，还需要在Lambda架构中开发出一个BSP系统并且单独运行，同样，对于实时计算模型也类似。因此，当前的Lambda架构无法灵活地对计算模型进行扩充。

发明内容

为解决上述技术问题，本发明实施例期望提供一种信息处理的方法和系统，能够将针对移动网络的DPI日志数据所进行的离线计算和实时计算进行结合，并且提高了对计算模型扩充的灵活度。

本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了一种信息处理的方法，所述方法包括：

获取待处理的移动网络日志数据；

根据已注册的实时处理模型实例对所述待处理的移动网络日志数据进行实时处理，获取实时处理结果；其中，所述实时处理结果包括：最终数据和/或中间数据；

根据已注册的离线处理模型实例对所述待处理的移动网络日志数据，并结合所述中间数据进行预设的数据挖掘处理，获取离线处理结果；

按照应用程序编程接口API的调用策略将所述实时处理结果和/或所述离线处理结果进行返回。

在上述方案中，所述方法还包括：

对待注册的实时处理模型进行验证；

将验证通过的实时处理模型进行初始化；

为初始化成功的实时处理模型建立对应的实时处理模型实例。

在上述方案中，所述方法还包括：

对待注册的离线处理模型进行验证；

将验证通过的离线处理模型进行初始化；

为初始化成功的离线处理模型建立对应的离线处理模型实例。

在上述方案中，获取待处理的移动网络日志数据，具体包括：