[发明专利]一种邮件分类模型的构建方法、装置、终端设备和介质在审
申请号: | 201910767882.7 | 申请日: | 2019-08-19 |
公开(公告)号: | CN110569357A | 公开(公告)日: | 2019-12-13 |
发明(设计)人: | 陈磊华;潘文辉;朱南皓;杨芸 | 申请(专利权)人: | 论客科技(广州)有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/955;G06F16/958 |
代理公司: | 44202 广州三环专利商标代理有限公司 | 代理人: | 颜希文;麦小婵 |
地址: | 510006 广东省广州市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据集 融合数据 邮件分类 构建 分类模型 脚本数据 目标数据 文本数据 决策权 语料库 多维度检测 训练分类器 测试邮件 数据建立 特征向量 训练分类 邮件数据 指标评估 终端设备 分类器 样本 验证 转换 分类 优化 | ||
本发明公开了一种邮件分类模型的构建方法、装置、终端设备和介质。所述方法包括:利用样本邮件数据集,构建目标数据集和语料库;将语料库用于训练与文本数据集、URL链接数据集和脚本数据集一一对应的word2vec模型,并利用word2vec模型将文本数据集、URL链接数据集和脚本数据集转换为特征向量;构建与目标数据集中除融合数据集外的各数据集一一对应的分类器,并训练分类器,得到相应的分类模型;将融合数据集用于训练分类模型,得到融合数据集中各种数据的决策权重;根据决策权重,利用测试邮件数据集对分类模型进行指标评估验证和优化。本发明能够针对邮件中的多种数据建立一邮件分类模型,使得可通过此邮件分类模型对邮件进行多维度检测,实现邮件的高效分类。
技术领域
本发明涉及信息安全领域,尤其涉及一种邮件分类模型的构建方法、装置、终端设备和介质。
背景技术
在当今社会中,电子邮件无论是在社交,还是在商务、金融等各方面都得到了普遍应用,但随之而来的还有垃圾邮件的泛滥。在2018年的邮件流量中,垃圾邮件的占比超过50%。垃圾邮件不仅占用了巨大的网络流量,耗费了收件人大量的时间、精力和金钱,而且很多垃圾邮件的恶意链接、恶意脚本、挂马附件也会导致用户的信息泄露,直接造成各种损失。
随着互联网的迅猛发展,垃圾邮件也从只包含单个单一类型的内容发展成包含多个多种类型的内容,如文本、图像、URL链接、附件、JavaScript脚本等。传统的基于内容的垃圾邮件检测系统都是基于单个维度的垃圾信息检测,仅针对图片或者仅针对文字构建机器学习模型的检测,没有考虑到基于推广链接/恶意链接的URL检测及邮件正文脚本跳转链接的检测。这些检测手段在多种类型特征融合的垃圾邮件检测上表现捉襟见肘,无法达到很好的检测效率,存在局限性。
发明内容
本发明所要解决的技术问题在于,提供一种邮件分类模型的构建方法、装置、终端设备和介质,能够针对邮件中的多种数据建立一邮件分类模型,使得可通过此邮件分类模型对邮件进行多维度检测,实现邮件的高效分类。
为了解决上述技术问题,本发明提出了一种邮件分类模型的构建方法,包括:
利用样本邮件数据集,构建目标数据集和语料库;其中,所述目标数据集包括文本数据集、URL链接数据集、脚本数据集、图像数据集和融合数据集,所述融合数据集包括文本数据、URL链接数据、脚本数据和图像数据其中多种组合的数据集,所述语料库包括文本语料库、URL链接语料库和脚本语料库;
将所述语料库用于训练与所述文本数据集、所述URL链接数据集和所述脚本数据集一一对应的word2vec模型,并利用所述word2vec模型将所述文本数据集、所述URL链接数据集和所述脚本数据集转换为特征向量;
构建与所述目标数据集中除所述融合数据集外的各数据集一一对应的分类器,并训练所述分类器,得到相应的分类模型;
将所述融合数据集用于训练所述分类模型,得到所述融合数据集中各种数据的决策权重;
根据所述决策权重,利用测试邮件数据集对所述分类模型进行指标评估验证和优化。
进一步地,所述文本语料库、所述URL链接语料库和所述脚本语料库,分别为根据所述文本数据集、所述URL链接数据集和所述脚本数据集构建所得。
进一步地,所述分类模型为深度学习模型。
进一步地,所述相应的分类模型,包括:
所述文本数据集、所述URL链接数据集、所述脚本数据集、所述图像数据集的分类模型分别为CNN模型、RNN模型、LSTM模型和CNN模型。
本发明还提出了一种邮件分类模型的构建装置,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于论客科技(广州)有限公司,未经论客科技(广州)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910767882.7/2.html,转载请声明来源钻瓜专利网。