[发明专利]基于特征工程和表示学习的机器行为识别方法

说明书

基于特征工程和表示学习的机器行为识别方法，由三个步骤构成：步骤一，对大数据进行分析，通过时间、频次等多维度的信息，建立3σ模型，用于确定机器行为的访问时间频段，在机器行为的访问时间频段下，通过分组聚合等方式，归纳总结提取出基于机器行为的特征；步骤二，并通过查阅API文档、软件模拟复现、官方的RFC文档等方式对行为进行定义和命名，整合成一组完备的机器行为特征，完成基于特征工程机器行为识别工作；步骤三，对识别效果不佳的模型加入与其他行为存在交集的特征，去排除其他行为，以提高准确率。

技术领域

本发明涉及HTTP协议中机器行为识别领域，特别涉及基于特征工程和表示学习的机器行为识别方法。

背景技术

随者互联网技术的发展，大型软件、门户网站以及小程序的数量不断增加。由于上述程序软件大多数业务的网络数据交换基于HTTP协议，因此，基于HTTP协议的URL请求日志也呈现爆发式增长。同时，手机、平板电脑等新兴移动终端的增加也促使网络访问不再受限于传统的计算机终端，而是呈现出客户端的多元化趋势，这一改变也加速了多网络下HTTP协议的URL日志请求数量激增。由于终端性能逐渐增强，诸如自动化获取文本，统计记录及测试连接等机器行为也越发增长，因此，随之而来的请求日志数量也越来越大。就目前而言，该领域的分析多集中在URL的恶意攻击上，如DDOS攻击，SQL注入攻击等行为，对于本文所研究的机器行为分析还是空白。因此，为筛选出用户正常的点击访问网页行为，并对其进行下钻分析，本文提出一种方法，用来识别上述的机器行为。

在URL的机器行为分析领域，目前大部分的分析都是基于攻击行为发起的。人们通过计算单一时间粒度下的IP访问URL频次或者是通过查询D段下的IP数量访问URL的频次等设置阈值的方法来判定是否是DDOS攻击行为，而对于SQL攻击等行为，则是根据一些样本数据集通过特征工程的方法或者是表示学习的方法对样本进行标注，最终实现对于以上攻击行为的判定。并不存在一种方法去判定是否存在本文所述的机器行为。

发明内容

为解决上述现有技术存在的问题，本发明的目的在于提供基于特征工程和表示学习的机器行为识别方法。

为达到上述目的，本发明的技术方案为：

基于特征工程和表示学习的机器行为识别方法，由三个步骤构成：

步骤一，对大数据进行分析，通过时间、频次等多维度的信息，建立3σ模型，用于确定机器行为的访问时间频段，在机器行为的访问时间频段下，通过分组聚合等方式，归纳总结提取出基于机器行为的特征；

步骤二，并通过查阅API文档、软件模拟复现、官方的RFC文档等方式对行为进行定义和命名，整合成一组完备的机器行为特征，完成基于特征工程机器行为识别工作；

步骤三，对识别效果不佳的模型加入与其他行为存在交集的特征，去排除其他行为，以提高准确率。

进一步的，所述步骤一中，基于机器行为的特征具体包括：1、爬虫行为；2、Track-Peer服务器通信行为的URL参数特征；3、流量/埋点统计行为包含的URL参数特征；4、暴力域名解析行为包括的域名特征；5、测试行为特征。

进一步的，所述的五个行为及其所包含的特征组成了一个完备的知识库；其中对于流量/埋点统计行为的规则中包含了Track-Peer服务器通信行为导致的效果不佳问题，加入了对于排除Track-Peer服务器通信行为参数的限制规则。

进一步的，所述爬虫行为具体包括：URL特征、源IP特征、UA特征。

进一步的，所述测试行为特征具体为URL特征。