[发明专利]基于机器学习的事务聚集发生预警方法及其应用

说明书

本申请提出了基于机器学习的事务聚集发生预警方法及其应用，包括以下步骤：提取原有数据的特征结构，该特征结构至少包括事务文本内容；提取事务文本内容中的文本内容，并将该文本内容拆分为地址字段特征、人名字段特征、事务人数字段特征及原始文本字段特征；将地址字段特征转换成标准结构化地址及其经纬度数据；通过递归密度聚类算法选取任一经纬度数据作为数据组点，并找到该数据组点密度可达的所有数据对象点形成一个簇，再将在同一簇下的数据组分类为同类数据；通过文本相似度算法处理同类数据下的文本字段，将同一类目下的相似事务作为结果存储至结果表；S50、输出结果表并根据该结果表预警。本申请提取事件的可用性及准确性高优点。

技术领域

本申请涉及机器学习技术领域，特别是一种涉及基于机器学习的事务聚集发生预警方法及其应用。

背景技术

目前的事务聚集发生预警可针对各地的征地拆迁，安置纠纷，房地产纠纷，知识产权纠纷，校园邻里纠纷，生态环境纠纷，婚姻家庭纠纷，信访纠纷，商事纠纷，山林土地纠纷等各地纠纷事件的类型、实际情况来进行分析和多元地化解。

但是现有技术通过中文NLP各种相似度算法在特定的领域进行分析，其准确率、场景化、分类能力都不能满足某些精细化场景的需求。也有通过人名、企业名、地址名等主体辅助分类，也依然受限与数据源隐私要求、数据源录入的结构规范化等问题，无法准确地匹配相同主体，如：地址的录入格式不标准，规范化XXX省XXX市XXX街道XXXX类似格式在录入中总会被省略部分字段。又如人名定位受限于数据源隐私，无法将所有个人相关字段全部提取。同时传统的地址聚类由于实际数据事务的发生或数据收集、录入时候往往呈现聚集性，而传统聚类方法一般只限制最小的簇数量来控制最终簇的数量，这可能会导致一个数据集在经过传统聚类方法分类后，大比例的数据会聚集在一个类别中，这与际的事务分类需求不符。

因此，亟待一种显著提高识别率、分类能力及拓展能力的基于机器学习的事务聚集发生预警方法及其应用。

发明内容

本申请实施例提供了基于机器学习的事务聚集发生预警方法及其应用，针对目前技术存在的识别率低和分类能力低等问题。

本发明核心技术主要是通过机器学习技术将数据源中相似事件再次辅助分类，提高最终提取事件的可用性及准确性。

第一方面，本申请提供了基于机器学习的事务聚集发生预警方法，所述方法包括以下步骤：

S00、提取原有数据的特征结构，该特征结构至少包括事务文本内容；

S10、提取事务文本内容中的文本内容，并将该文本内容拆分为地址字段特征、人名字段特征、事务人数字段特征及原始文本字段特征，以实现对特征结构的补齐；

S20、将地址字段特征转换成标准结构化地址及其经纬度数据，以作为新特征单独存储；

S30、通过递归密度聚类算法选取任一经纬度数据作为数据组点，并找到该数据组点密度可达的所有数据对象点形成一个簇，再将在同一簇下的数据组分类为同类数据；

S40、通过文本相似度算法处理同类数据下的文本字段，进一步优化分类结果并将同一类目下的相似事务作为结果存储至结果表；

S50、输出结果表并根据该结果表预警。

进一步地，步骤S00中，特征结构还包括标识ID，该标识ID用于标识事务。

进一步地，步骤S00中，特征结构还包括事务时间和事务地点。

进一步地，步骤S10中，通过地图软件的开放API将地址字段特征转换成标准结构化地址及其经度和纬度数据。

进一步地，步骤S30中，若选取的数据组点为边缘点，则选取另一个数据对象点，直至所有数据对象点被处理。

进一步地，步骤S30中，根据簇群分布情况，按照簇的大小进行密度聚类形成新的簇，并进行递归，直至到达设定条件形成递归结果，并将递归结果中的同一类簇下的数据组点归类为同类数据。