[发明专利]一种识别网络文字信息的语种的方法及系统

说明书

技术领域

本发明涉及数据采集处理技术。具体地说涉及一种识别网络文字信息的语种的方法及系统。

背景技术

现阶段，世界范围内民族矛盾突出，基于民族特征的暴力恐怖事件频繁发生。而随着网络技术的快速发展，互联网上信息资源的数量急剧增长，上网用户群体也不断扩大，上网设备的持有人通过网络可以进行发送邮件、聊天、论坛发帖以及浏览网页等操作，在进行这些操作的同时会产生包含上述操作信息的上网数据包，因此，如果能对所述上网数据包加以分析，将有可能获取到上网设备的持有人的某些信息，比如上网设备的持有人所输入的文字信息所属的语种，进而判断出其所属的民族，使得安全部门能够有针对性的对某些特定人群(比如某一民族范围内的人群)进行监控，提高了监察效率，有利于安全部门及时获取到与恐怖活动相关的情报，维护社会的稳定。

但现有技术中要获取上述上网数据包存在很多技术上的困难和挑战，一般需要在上网设备上安装客户端才能实现对上述数据的采集，但不同的上网设备往往使用不同的操作系统，这就需要开发出多种与操作系统相匹配的客户端，开发工作量非常大，上网设备的操作系统升级的时候，也需要对客户端进行同步升级，使得系统的维护成本非常高，而且上网设备持有人在安装客户端时往往特别小心，经常会发生拒绝安装客户端的现象，而客户端安装不了，就不能获取到上网设备的上网数据包，识别上网数据包中包括的文字信息的语种当然也就无法实现了。

发明内容

为此，本发明所要解决的技术问题在于现有技术中需要在上网设备上安装客户端才能获取到上网设备持有人在上网时产生的上网数据包,从而提供一种无需在上网设备上安装客户端即可获取上网数据包并能从中识别文字信息的语种的识别网络文字信息的语种的方法及系统。

为解决上述技术问题，本发明的技术方案如下：

本发明提供了一种识别网络文字信息的语种的方法，包括如下步骤：

在网络接入位置采集上网设备在上网时产生的上网数据包；

获取所述上网数据包中包含的文字信息；

根据所述文字信息识别所述上网设备产生的文字信息的语种。

本发明所述的识别网络文字信息的语种的方法，所述获取所述上网数据包中包含的文字信息的步骤，包括：

根据传输层协议将所述上网数据包重组成传输层会话数据流；

根据超文本标记语言HTML协议解析出所述传输层会话数据流中包含的数据；

从所述数据中提取出其包含的文字信息。

本发明所述的识别网络文字信息的语种的方法，所述根据所述文字信息识别所述上网设备产生的文字信息的语种的步骤，包括：

解析出所述文字信息中包含的每个字符在Unicode中对应的字符编码；

根据所述字符编码得到所述文字信息在Unicode中的编码范围；

根据所述编码范围识别出所述文字信息的语种。

本发明所述的识别网络文字信息的语种的方法，在所述根据所述文字信息识别所述上网设备产生的文字信息的语种之后还包括：

根据所述文字信息的语种对所述文字信息进行分类存储。

本发明还提供了一种识别网络文字信息的语种的系统，包括：

采集装置，用于在网络接入位置采集上网设备在上网时产生的上网数据包；

获取装置，用于获取所述上网数据包中包含的文字信息；

识别装置，用于根据所述文字信息识别所述上网设备产生的文字信息的语种。

本发明所述的识别网络文字信息的语种的系统，所述获取装置包括：

重组单元，用于根据传输层协议将所述上网数据包重组成传输层会话数据流；

第一解析单元，用于根据超文本标记语言HTML协议解析出所述传输层会话数据流中包含的数据；

提取单元，用于从所述数据中提取出其包含的文字信息。

本发明所述的识别网络文字信息的语种的系统，所述识别装置包括：

第二解析单元，用于解析出所述文字信息中包含的每个字符在Unicode中对应的字符编码；

范围获取单元，用于根据所述字符编码得到所述文字信息在Unicode中的编码范围；

语种识别单元，用于根据所述编码范围识别出所述文字信息的语种。

本发明所述的识别网络文字信息的语种的系统，还包括：

分类存储装置，用于根据所述文字信息的语种对所述文字信息进行分类存储。

本发明的上述技术方案相比现有技术具有以下优点：