[发明专利]一种基于社交媒体数据的自然灾害损失实时评估方法

权利要求书

1.一种基于社交媒体数据的自然灾害损失实时评估方法，具体包括以下步骤：步骤1，以自然灾害为关键词获取社交媒体文本数据；步骤2，提取文本数据，并对数据进行处理，以完成文本数据的分词与情绪标定；步骤3，建立自然灾害相关词库和反词库；步骤4，基于自然灾害相关词库和反词库以及社交媒体数据的地理信息对文本数据进行清洗；步骤5，设置分析期，获取分析期的自然灾害的历史灾情数据，作为模型的因变量建立多元线性回归模型，进行迭代计算直至模型系数的显著性水平小于设定阈值；在步骤1，采用大规模的社交媒体数据为基础进行模型的构建，以自然灾害为关键词获取社交媒体中的数据，采集包含自然灾害关键词的文本数据，以提供社交媒体数据基础；在步骤2中，所述提取文本数据包括提取灾害相关社交媒体数据中的发布时间、发布地点、发布文本属性，所述处理为分词工具实现自然灾害相关文本数据的分词处理；所述情绪标定为高兴、愤怒、厌恶、悲伤、恐惧、中性六类；在步骤3中，所述自然灾害相关词库的方法为，对自然灾害相关社交媒体文本数据进行词频统计，将词频从高到低排序,其中在前600名的词汇定义为超高频词，词频在前6000名的词汇定义为高频词，从超高频词中人工筛选出与相应自然灾害有关的词语进入灾害相关词库，迭代计算各高频词与灾害相关词库中词语的共现频率，共现频率为p，高频词的出现次数为n，高频词与灾害相关词库中的任意词同时出现的次数为m，计算共现频率p=m/n，从共现频率高于90%的高频词中人工筛选出与灾害相关的词，写入灾害相关词库，直至每次迭代选入所述灾害相关词库的词汇数量小于5个，灾害相关词库建立完毕；在步骤3中，灾害反词库的方法包括迭代方法和以及第三方库，在第三方库中以明显不属于灾害的相关关键词检索词库，将相应自然灾害社交媒体数据文本的分词结果与这些词库进行匹配，匹配成功的词写入灾害反词库；在步骤4中，所述清洗的方法为，针对某自然灾害相关的社交媒体文本数据集中的一条数据，将该条数据的所有词汇与该类灾害的相关词库进行匹配，若至少有一词匹配，则认为该条数据与灾害初步相关，则通过清洗；其次，将该条数据的所有词汇与灾害反词库进行匹配，若有至少一词匹配，则认为该条数据和灾害不相关，则不通过清洗；检验该条数据的发布地点，若该信息不完整，则不通过数据清洗；在步骤5中，模型的自变量为各省级行政区在分析期内不同情绪的微博发布量，因变量为分析期内自然灾害造成的直接经济损失。

2.根据权利要求1所述的方法，其特征在于，在步骤5中，所述迭代方法为，选取分析期内各省级行政区的所述不同情绪社交媒体数据的发布量为自变量，通过回归显著性检验来选择显著性最差的自变量并剔除，再次建立多元线性回归模型进行上述迭代，直至剩余所有自变量的p-value均小于设定阈值，模型的变量迭代过程完毕，仅剩余自变量进入最终预测模型。