[发明专利]一种物联设备数据采集方法及装置

说明书

本发明涉及一种物联设备数据采集方法及装置，包括如下步骤：将全部数据进行分类；在一个服务中启动与数据类别数对应的任务数进行数据采集；对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；对统一格式后的数据进行存储分发。本发明提供的物联设备数据采集方法及设备，整合不同的数据传输方式，将服务级别从进程级降到线程级；可以应对物联网方面不同的业务需求，提供批次服务、微批次服务、流服务；提供数据格式转换功能，统一不同厂商同一业务类型的数据格式；集数据采集、映射、落地于一身。

技术领域

本发明涉及物联网技术领域，尤其涉及一种物联设备数据采集方法及装置。

背景技术

物联网是新一代信息技术的重要组成部分，IT行业又叫：泛互联，意指物物相连，万物万联。由此，“物联网就是物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。因此，物联网的定义是通过射频识别、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网相连接，进行信息交换和通信，以实现对物品的智能化识别、定位、跟踪、监控和管理的一种网络。

随着物联网的发展，海量物联设备的数据采集是每一个物联网相关公司都需要面对的问题。面对多家不同的硬件厂商，其数据传输方式各有不同，数据的采集需要针对厂商做特殊的数据开发，即使传输的方式一样，数据格式也不尽相同，通用性弱，任务管理困难。

发明内容

本发明为解决现有的各物联设备数据传输不同导致不同设备数据采集需单独开发，且数据格式不同、通用性若的问题，所采用的技术方案是：一方面，发明提供了一种物联设备数据采集方法，包括如下步骤：

将全部数据进行分类；

在一个服务中启动与数据类别数对应的任务数进行数据采集；

对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；

对统一格式后的数据进行存储分发。

进一步改进为，所述的将全部数据进行分类，包括：

将全部数据分为周期全量、周期增量和实时流数据三种类别。

进一步改进为，所述的对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式，包括：

对于周期增量类数据进行数据拍平后进行字段映射。

另一方面，本发明提供了一种物联设备数据采集装置，包括：

用于将全部数据进行分类的模块；

用于在一个服务中启动与数据类别数对应的任务数进行数据采集的模块；

用于对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式的模块；

用于对统一格式后的数据进行存储分发的模块。

进一步改进为，所述用于将全部数据进行分类的模块，将全部数据分为周期全量、周期增量和实时流数据三种类别。

进一步改进为，所述用于对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式的模块，对周期增量类数据进行数据拍平后进行字段映射。

再一方面，本发明还提供了一种物联设备数据采集装置，包括：一个或多个处理器及存储器，所述存储器存储有程序，并且被配置成由所述一个或多个处理器执行以下步骤：

将全部数据进行分类；

在一个服务中启动与数据类别数对应的任务数进行数据采集；

对采集到的数据进行字段映射，将不同规格数据统一为一种数据格式；