[发明专利]电信数据获取方法、装置、设备及存储介质

说明书

本发明公开了一种电信数据获取方法、装置、设备及存储介质。该方法包括：获取原始电信数据，原始电信数据包括多个特征变量；根据电信特征评估函数计算每个特征变量的至少一个电信特征指标的评估值；对至少一个电信特征指标的评估值进行加权计算，得到综合电信特征指标评估值；根据综合电信特征指标评估值从原始电信数据的多个特征变量中确定目标特征变量对应的目标电信数据。根据本发明实施例，能够针对电信特征评估指标得到量化的电信特征分值，能够客观、全面地评价特征水平，提高电信数据筛选效果。

技术领域

本发明属于数据分析及特征获取技术领域，尤其涉及一种电信数据获取方法、装置、设备及存储介质。

背景技术

特征获取对于数据科学家、机器学习从业者来说非常重要。好的特征选择能够提升模型的性能，更能帮助我们理解数据的特点、底层结构，这对进一步改善模型、算法都有着重要作用。

现有技术中特征获取过程中的特征评估分析环节里无量化的衡量标准，仅是通过建模人员依据自身建模经验进行人工判断，或是进行简单的统计值来判断。特征评估的衡量标准简单粗放，且各指标的评估方法简单，评估值大小不一、无量纲化，没有对特征的综合评估，与实际业务不符。

目前简单、无量纲化的特征获取无法迎合在数据分析中日益增长的特征获取需求。

发明内容

本发明实施例提供一种电信数据获取方法、装置、设备及计算机存储介质，能够基于常用评估指标，结合电信行业业务特点，针对电信特征评估指标到量化的电信特征分值，解决了对电信行业数据特征进行量化衡量、综合评估的问题。

第一方面，本发明实施例提供一种电信数据获取方法，方法包括：获取原始电信数据，原始电信数据包括多个特征变量；根据电信特征评估函数计算每个特征变量的至少一个电信特征指标的评估值；对至少一个电信特征指标的评估值进行加权计算，得到综合电信特征指标评估值；根据综合电信特征指标评估值从原始电信数据的多个特征变量中确定目标特征变量对应的目标电信数据。

基于常用评估指标，结合电信行业业务特点，创造性地针对特征评估指标拟合不同函数得到量化的特征分值，更加客观、量化地反映出每个特征质量。

在另一种可能的实现中，电信特征指标包括下述中的至少一项：缺失率、标准差、相关系数、重要度量；其中，

相关系数用于表征原始电信数据与原始电信数据对应的目标变量的相关性；

重要度量用于表征原始电信数据与目标变量的重要程度。

对于数据的质量更多地考虑了数据缺失情况、变量标准差、变量对目标变量的影响度和重要程度，填补了电信行业中综合考虑特征指标的空白。

在另一种可能的实现中，该方法还包括：电信特征指标为缺失率，电信特征评估函数满足以下条件：

当缺失率大于第一阈值且小于第二阈值时，评估值以第一速率函数呈减少趋势，当缺失率大于第二阈值且小于第三阈值时，评估值以第一速率函数呈减少趋势，第一速率函数为减函数。

在另一种可能的实现中，该方法还包括：第一电信特征评估函数为

a₁为缺失率；b₁为评估值。

第一电信特征评估函数对分数梯度下降的速度进行了更有效的控制，更适用于现实场景。

在另一种可能的实现中，该方法还包括：电信特征指标为标准差，电信特征评估函数满足以下条件：

当标准差大于第四阈值且小于第五阈值时，评估值以第二速率函数呈增大趋势，第二速率函数为减函数。

在另一种可能的实现中，该方法还包括：第二电信特征评估函数为