[发明专利]非结构文本数据处理方法及装置在审
| 申请号: | 201910343255.0 | 申请日: | 2019-04-26 |
| 公开(公告)号: | CN110175225A | 公开(公告)日: | 2019-08-27 |
| 发明(设计)人: | 程宏亮;强劲;张建 | 申请(专利权)人: | 美林数据技术股份有限公司 |
| 主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/338 |
| 代理公司: | 北京挺立专利事务所(普通合伙) 11265 | 代理人: | 韩畅 |
| 地址: | 710075 陕西省西安市高新区软*** | 国省代码: | 陕西;61 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据处理节点 自然语言处理 数据传输方向 算法 结构文本 数据处理 非结构化文本 输入输出关系 数据分析处理 信息技术领域 类自然语言 处理算法 建模 | ||
1.一种非结构文本数据处理方法,其特征在于,所述方法包括:
从候选的K类自然语言处理算法中,选定T个数据处理节点各自对应的自然语言处理算法;其中,K≥1,T≥1,一个数据处理节点对应一类自然语言处理算法;
确定所述T个数据处理节点之间的数据传输方向,所述数据传输方向用于指示所述T个数据处理节点之间的输入输出关系;
根据所述T个数据处理节点各自对应的自然语言处理算法以及所述数据传输方向生成自然语言处理模型。
2.根据权利要求1所述的方法,其特征在于,
所述K类自然语言处理算法按照处理对象粒度被划分为字符级处理算法、语句级处理算法、篇章级处理算法以及文本表征算法中的至少一类。
3.根据权利要求1所述的方法,其特征在于,还包括:
将待处理数据输入所述自然语言处理模型;
从所述T个数据处理节点中选定目标节点,所述目标节点为所述T个数据处理节点其中任一;
输出所述目标节点的输出数据。
4.根据权利要求3所述的方法,其特征在于,
所述将待处理数据输入所述自然语言处理模型,包括:将预处理节点的输出数据作为待处理数据输入所述自然语言处理模型;其中,所述预处理节点包括数据清洗节点、数据输入节点其中至少一个;
所述输出所述目标节点的输出数据,包括:将所述目标节点的输出数据输入后续节点;其中,所述后续节点包括数据统计节点、机器学习节点、深度学习节点中至少一个。
5.根据权利要求1所述的方法,其特征在于,所述选定T个数据处理节点各自对应的自然语言处理算法,包括:
当第一算法标识从第一显示区域被拖拽至第二显示区域时,确定第一自然语言处理算法为一个数据处理节点所对应的自然语言处理算法;
其中,所述第一算法标识用于标识所述第一自然语言处理算法。
6.根据权利要求5所述的方法,其特征在于,所述T个数据处理节点包括第一节点和第二节点,所述第一节点对应第一自然语言处理算法,所述第二节点对应第二自然语言处理算法;
所述确定所述T个数据处理节点之间的数据传输方向,包括:
于所述第二显示区域内,将所述第一算法标识和第二算法标识通过有向线段连接,所述第二算法标识用于标识所述第二自然语言处理算法,所述有向线段从所述第一算法标识指向所述第二算法标识;
确定所述第二节点的输入数据包括所述第一节点的输出数据。
7.一种非结构文本数据处理装置,其特征在于,包括:
选定模块,用于从候选的K类自然语言处理算法中,选定T个数据处理节点各自对应的自然语言处理算法;其中,K≥1,T≥1,一个数据处理节点对应一类自然语言处理算法;
连接模块,用于确定所述T个数据处理节点之间的数据传输方向,所述数据传输方向用于指示所述T个数据处理节点之间的输入输出关系;
创建模块,用于根据所述T个数据处理节点各自对应的自然语言处理算法以及所述数据传输方向生成自然语言处理模型。
8.根据权利要求7所述的装置,其特征在于,
所述K类自然语言处理算法按照处理对象粒度被划分为字符级处理算法、语句级处理算法、篇章级处理算法以及文本表征算法中的至少一类。
9.根据权利要求7所述的装置,其特征在于,还包括:
数据模块,用于将待处理数据输入所述自然语言处理模型;
中间结果输出模块,用于从所述T个数据处理节点中选定目标节点,输出所述目标节点的输出数据;
其中,所述目标节点为所述T个数据处理节点其中任一。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于美林数据技术股份有限公司,未经美林数据技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910343255.0/1.html,转载请声明来源钻瓜专利网。





