[发明专利]一种计算机物联网数据处理系统

说明书

本发明提出了一种计算机物联网数据处理系统，包括数据采集模块、数据处理模块、数据存储模块、信息优化模块及物流配送模块，能够从多个异构系统中实时采集物流数据以实时或批处理方式高效地处理数据，提高货物的依次投送能力，降低货物在中间节点的转发次数，提高货物的运输效率，克服了复杂事件管理不及时等困难。

技术领域

本发明属于计算机物联网领域，具体涉及一种计算机物联网数据处理系统。

背景技术

计算机物联网正导致物流行业思考模式的转变。物流服务供应商使用GPS或遥测等传感器技术来跟踪和管理他们的货物过程，传感器有助于标记和连接工厂、轮船和机器等，在此过程中，还通过使用外部数据，这些数据包含有关事件的关键信息，如信息交通事故和自然灾害，将来自不同传感器和社交媒体的数据关联起来并实时进行分析，提供交付延迟的预测事件和预防意外。“事物”的连接性通过Internet实现设备之间的即时通信，这个高度连接的生态系统对物流运营商、其业务客户和最终客户的收益均具有深远的影响。物联网生态系统的主要优势之一它能将后勤传感器与外部传感器，如天气传感器和交通(GPS)传感器等信息交汇融合，物联网还能够与社交媒体连接，如提供重要交通、事故、天气、自然灾害等事件的信息。

然而，由于数据的多样性和收集速度的不同，导致从不同来源收集和处理数据的准确性和速度性也大不相同，同时，实时处理数据的工作量很大，传统的物流信息系统无法解决这一问题。另一方面，尽管预测分析以预测装运延误或规定分析以优化路线均能够在规定时间内提高交付速度进而提高客户满意度，但延迟交货仍然是一个悬而未决的问题，及时交货是物流公司面临的巨大挑战，因为有时延误是由任何人无法控制的因素所造成的。延迟交货会带来各种影响，如客户流失或订单取消进而造成巨大的损失。因此，及时交货对物流公司至关重要。近年来，物流企业开始着手调查如何利用数据预测延迟，尤其是，在大数据技术方面，物流供应商正在关注大量使用事故、交通拥挤等事件流源于外部资源，如社交媒体实时分析和预测延迟。实时预测延迟使公司能够采取行动，如优化实时飞行路线。现有的解决方案是建立在经典的数据处理技术之上的，因此，传统的物流信息系统无法实时处理传感器或社交媒体数据，因为这些数据以高速状态流动，另外传统的数据处理方法无法处理无模式数据，如文本。现有的数据处理方法(例如，技术或算法)没有足够的效率来实时处理数据。

考虑到对数据源的评估，大多数现有解决方案仅限于一个数据源。另外，对于实时系统持续改进，现有技术使用的是静态历史数据集进行测试，而显然，仅依靠历史数据已经不能满足当今的物流需求。基于此，本发明提出了一种批处理和实时处理海量数据的混合框架，该框架建立在归类算法的基础上，能够从多个异构系统中实时采集物流数据传以实时或批处理方式高效地处理数据。本发明专注于开发一种混合解决方案，使实时数据能够得到批量处理，使物流服务成为可能，迫切需要计算机加工提供程序以实时执行分析。

发明内容

本发明提出了一种计算机物联网数据处理系统，建立在归类算法的基础上，能够从多个异构系统中采集物流数据以实时高效地处理数据。

一种计算机物联网数据处理系统，包括数据采集模块、数据处理模块、数据存储模块、信息优化模块及物流配送模块，所述数据处理模块包括批数据处理设备和实时数据处理模块，批数据处理设备用于读取/提取存储数据并进行数据准备，批数据处理设备包括数据准备阶段和数据处理阶段，所述数据准备阶段包括数据提取、数据清理、数据过滤、数据集成和数据存储，所述数据处理阶段将准备充分的数据进行归类处理，所述批数据处理设备通过无线/有线网络将数据直接发送到实时数据处理模块，信息优化模块对物流进行线路优化，并将优化线路通过无线/有线数据传输给物流配送模块，批数据处理设备将来自多个数据传感器及物流应用的物流数据进行批处理。