[发明专利]一种计算机物联网数据处理系统

权利要求书

1.一种计算机物联网数据处理系统，其特征在于，包括数据采集模块、数据处理模块、数据存储模块、信息优化模块及物流配送模块，所述数据处理模块包括批数据处理设备和实时数据处理模块，批数据处理设备用于读取/提取存储数据并进行数据准备，批数据处理设备包括数据准备阶段和数据处理阶段，所述数据准备阶段包括数据提取、数据清理、数据过滤、数据集成和数据存储，所述数据处理阶段将准备充分的数据进行归类处理，所述批数据处理设备通过无线/有线网络将数据直接发送到实时数据处理模块，信息优化模块对物流进行物流线路优化，并将优化线路通过无线/有线数据传输给物流配送模块；

数据提取器包括网页抓取模块，所述网页抓取模块从云服务器上抓取特定网站中所链接的网页，并从已爬取来的网页中提取链接，提取的链接数据信息分别存储在数据存储模块中，同时，数据提取器包括网页预处理模块和查询模块，网页预处理模块将分析抓取来的网页，建立索引和计算网页的等级；查询模块提供用户搜索界面，用户输入搜索词，并根据用户的查询向用户返回查询结果；所述数据过滤是对网页进行去噪，过滤掉一些脚本标识符和无用的信息，并将每个页面中有用的文本保存下来，进行分词和去噪及排序，提取出网页的关键字，根据网页抓取模块中提取到的网页间的链接关系，根据PageRank排序算法思想，获取基于网页的链接关系计算得出的网页PR值；再利用空间向量模型计算物流相关信息与相关网页关键字的相似度权重，并且增加用户历史搜索与搜索关键字的权重，最后通过算法重新计算有链接关系的网页间的贡献值，并获得等级排名，并由此作为物流服务的重要参考依据；

所述实时数据处理模块对数据项进行分组或分段，生成一个聚集的数据集，在预测交货延迟时进行有效的分析，令X_i＝{X₁,X₂,…,X_n}表示具有n个物流对象的数据集，其中X_i＝{X₁,X₂,…,X_n}表示第i个对象的m个属性，数据集表示成n×m的矩阵，对数据集进行T次归类，R_i＝{R_i1,R_i2,…,R_iT}表示第i个对象在T次归类下的结果，基归类结果表示成n×T的矩阵，数据信息采用成对约束，成对约束所描述的是两个数据对象之间的关系，其包括两种关系：反映数据对象属于同一类的必连关系信息，记作M，反映数据对象不属于同一类的不连关系信息，记作C；在原数据特征空间中，将原数据表示成n×n的矩阵D，D(i,j)表示对象i与对象j之间的相似度，用高斯相似度计算其中δ为超参数，再计算对角矩阵E，对角线上元素是W矩阵一行或列所有元素的和，归一化得到最终的矩阵D＝E^-1/2WE^-1/2,距离越近两点之间的相似性越大，在基归类构成的符号特征空间中，将基归类表示为n×n的矩阵B，B(i,j)表示在T次基归类结果下对象i与对象j划分在一类的次数，根据下式计算：

δ(R_it,R_jt)＝1,R_it＝R_jt；δ(R_it,R_jt)＝0,R_it≠R_jt；

在监督信息特征空间中，将成对约束表示成n×n的矩阵S，对于给定的同一数据集上，成对约束具有对称性和传递性，根据下式计算对象点之间的相似度，以保证相似性矩阵S的非负性，

这样，在原数据、基归类、监督信息三种特征空间上分别构造n×n的矩阵D、B和S后，将三个相似性矩阵线性结合构造一个新矩阵L＝w₁D+w₂B+w₃S，其中，w₁、w₂、w₃分别为原数据、基归类及监督信息的权重，对L进行NMF归类，得到归类结果；

数据过滤包括如下步骤：

(1)分析需要排序的网页链接集合Set_web中链接指向关系，确定每个网页的链出链入情况；

(2)从Set_web中每个网页的页面内容中提取关键词，生成网页的关键词集合S_{web_keywords}＝{V₁,V₂,V₃,…,V_i}；

(3)计算Set_web中每个网页对应的关键词和K的相似度，得到关键词相关度因子集合W(u)；

(4)根据ID找到该用户对应的物流、交通、天气、地理位置关键词列表S_{h_web_keywords}；

(5)计算Set_web中每个网页对应的关键词和S_{h_web_keywords}的距离d，得到影响因子H(u)；

(6)对每个网页，都有三个因子，根据公式GR＝(1-d)+d[∑PR(v)(α/N_v+β·W(u)+γ·H(u))]；

计算每个网页的综合得分，得到最终的网页排名GR；其中α，β，γ分别代表的是链接、主题相关度因子以及用户因子在PR值分配中的权重。