[发明专利]一种动态数据的综合价值评估方法有效
申请号: | 201810156148.2 | 申请日: | 2018-02-24 |
公开(公告)号: | CN108573021B | 公开(公告)日: | 2021-10-08 |
发明(设计)人: | 陈平 | 申请(专利权)人: | 浙江金华伽利略数据科技有限公司 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458;G06F16/215;G06Q10/06 |
代理公司: | 宿迁市永泰睿博知识产权代理事务所(普通合伙) 32264 | 代理人: | 陈臣 |
地址: | 321000 浙江省金华市婺城区龙潭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 动态 数据 综合 价值 评估 方法 | ||
1.一种动态数据的综合价值评估方法,其特征在于至少包括如下步骤:
(1)搭建一数据存储模块,作为数据检索模块的前端源,对数据资源进行整合,通过系统检索模块提取和整合需要的数据信息,以便生成信息情报;
(2)数据规范化预处理,对经检索获取的数据信息进行规范化处理,数据规范化包括但不限于对数据进行相关性分析和离散化降维处理;预处理过程后,将各相关分析和数据离散后的结果样本传输至各节点,准备训练;
(3)数据训练,数据经过关联分析和离散预处理后,系统内部对数据进行均匀的筛选或者切割,通过分布式消息队列机制将数据发送至学习机模型节点进行数据训练;
(4)权值评估,输入预处理好后的评估数据形成若干初步评估结果,将若干初步评估结果和评估结果对应的误差权值用加平均得到最终的评估值同时针对最终的评估结果与之前得到的多个评估初值进行比对,并结合检索评估模块的误差值进行分析综合,更新出更优化的误差权值,以便于后续的评估,以此来不断提高评估结果的精度;
(5)通过随机梯度下降算法求解评估结果和最终评估值得到误差权值τ,并及时更新当前的误差权值;
(6)输出最终评估值给出当前专利数据价值评估的相关结果,依据实际市场的实测值和预估值进行比较分析,给出目标数据集的价值评估可视化的图示;为了使得多个并行节点的实时序列学习模型拥有更高的评估准确率,随机梯度下降算法结合加权平均的方法,动态调整集群中多个不同节点的评估输出结果的误差权值,评估准确率高的节点被赋予更高的权重,最终评估值通过各个节点的输出结果和误差权值加权平均求得:
其中τji为第i个学习机节点的误差权值,fji为第i个学习机节点的输出值,j为评估值得第j个批次;
预测权重通过如下误差函数E来计算:
通过对误差函数求导,使用随机梯度下降法得到预测权重的更新满足下式:
其中,η为学习机学习效率,优选其取值范围[0.05,0.25],据此来求得各相关因子的权值,并按照每个因子的权值梯度方向进行优化和更新,按照上述步骤(1)-(6)进行操作得出最终的评估结果和误差权值系数。
2.如权利要求1所述的一种动态数据的综合价值评估方法,其特征在于,步骤(1)中通过对检索结果的客观和完整的查全和查准判断,得出当前数据结果的误差值δ,如果误差值δ在预定的范围内,则进行下一步,如果误差值超出预定范围,重新执行和操作步骤(1),保留最终初步筛选出的误差值δ结果,保留其结果推送给后续,作为后续权值评估时的权值参考,该结果作为调整数据库数据源的依据,用于对数据源优化的重要参考。
3.如权利要求1所述的一种动态数据的综合价值评估方法,其特征在于,在步骤(1)中的数据库搭建中,对股票数据,包括不同来源的数据,优选为网页、新闻或图标,采用内容抽取或爬取来获取,内容抽取算法包括但不限于:基于正则表达式的网页抽取、基于CSS选择器的网页抽取、基于XPATH的网页抽取、基于机器学习的网页抽取;
其中,所述基于正则表达式的网页抽取利用正则表达式进行网页抽取,是在html源码的基础上做字符串级别的检索。
4.如权利要求3所述的一种动态数据的综合价值评估方法,其特征在于,在步骤(1)中的数据检索模块中使用多线程有序索引分析,存储数据库中,优选的将数据以字符串为对象形式进行展开,索引分析技术的好处在于可以使得存储的效率提升输入输出的利用率将会得到改善。
5.如权利要求4所述的一种动态数据的综合价值评估方法,其特征在于,在多线程的处理形式中使用多接口模块,程序创建了大量的短生命周期的线程,汇聚成线程池,能够有效的减少和降低并发线程的数目,大幅提升服务器性能,其程序设计为:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江金华伽利略数据科技有限公司,未经浙江金华伽利略数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810156148.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置