[发明专利]一种自动标注、训练、预测海量数据的处理方法

权利要求书

1.一种自动标注、训练、预测海量数据的处理方法，其特征在于：包括以下步骤：

步骤一、采集数据：

I、使用Python技术框架scrapyd编写爬虫，设定采集关键词，指定关键词之间的组合关系，在新闻、贴吧、论坛网站抓取符合关键词的数据，将新闻标题、正文、回复数据进行结构化保存，保存至数据管理平台；

II、在采集的数据中做文本特征提取，进行自动分类，将采集的数据进行特征打标；

III、在数据管理平台中浏览保存的数据，结合特征标签，进行人工标注、审核；

步骤二、模型训练：

I、数据标注完成后，数据管理平台自动将该数据推送到模型训练平台，模型训练平台自动将数据按照以竖线分隔的文本进行处理，生成训练集；

II、训练平台在数据量达到预计的阈值时自动触发模型训练；

模型训练的过程为：用一组数据乘以表示的权重随机数，生成随机的结果，根据这个结果与标注的结果进行比较，用梯度下降的方法让生成的结果与标注的结果无限接近，反复重复此过程，直到取得理想的结果为止；

步骤三、更新预测模型：

I、在模型训练时根据预设的比例将训练集的数据分出一部分数据，用于模型的验证，计算出模型的正确率、召回率；

II、将上述计算的正确率、召回率与以前迭代生成的模型进行对比，取测试结果高者更新到预测平台，得到新模型；

步骤四、迭代更新：

不断采集的数据进入预测平台，对新数据进行预测标注、自动标注，然后在数据管理平台中进行人工审核，对自动标注的结果进行验证统计，回馈到训练过程；人工审核验证后的数据重复执行步骤二至步骤四，达到半监督的自动机器学习。