[发明专利]一种联合不同来源数据的变量选择方法

权利要求书

1.一种联合不同来源数据的变量选择方法，其特征在于，包括：

A.建立存放数据信息的数据库，获取各种不同来源的数据集并保存在数据库中；

B.在代码模块中对获取的不同来源的数据集进行数据清洗得到干净数据，并将数据集分为训练集和测试集；

C.根据需求方的预测目标在训练集上建立模型，根据模型表达式和损失函数形式，得到需要优化的损失函数；

D.根据适用于变量含组结构的多源异构数据整合分析的三层变量选择方法，采用MCP惩罚函数，并且根据步骤C所述损失函数和惩罚函数建立最优化问题的目标函数；

E.对最优化问题的目标函数中的损失函数进行二次近似得到近似后的目标函数，对近似后的目标函数求解最优系数从而得到最优模型。

2.如权利要求1所述的一种联合不同来源数据的变量选择方法，其特征在于，步骤A包括：

建立一个存放各种数据信息的数据库平台，将各种来源不同的数据存储在数据库中，可以通过SQL连接数据库平台查询数据；

建立一个平台，该平台包含数据集模块、SQL模块、代码模块和模型模块；

所述数据集模块根据SQL连接数据库平台查询所需数据并保存或者从本地导入所需数据并保存，所需数据包括变量信息和样本信息。

3.如权利要求2所述的一种联合不同来源数据的变量选择方法，其特征在于，步骤B包括：

根据数据清洗规则，在平台的代码模块编写不同解释变量的清洗代码，保存并执行代码获得可以入模的干净数据；

确定训练集和测试集样本量之间的比例，根据所述比例对干净数据进行划分获得训练集和测试集。

4.如权利要求1所述的一种联合不同来源数据的变量选择方法，其特征在于，步骤C包括：

根据需要预测的二分类变量选择logistic回归模型，得到数据集的损失函数为：

其中m表示第m个数据集；表示第m个数据集中有个观察值；总样本量为；被解释变量为向量，是二分类变量；解释变量是维度为的矩阵；定义为截距项，为第m个数据集中第j个变量的系数；表示第j个变量在M个数据集上的系数，为第m个数据集所有解释变量的系数；。

5.如权利要求4所述的一种联合不同来源数据的变量选择方法，其特征在于，步骤D包括：

根据适用于变量含组结构的多源异构数据整合分析的三层变量选择惩罚函数，每一层都选择MCP惩罚函数，根据M个不同来源的数据集，惩罚函数为:

；其中M表示M个来源不同的数据集，d表示M个数据集中包含d个解释变量，将解释变量分为j组，每组中含有个解释变量；并且其中是调整参数，，MCP惩罚函数具有如下形式

根据惩罚函数和步骤3所述损失函数得到最优化问题的目标函数:

。

6.如权利要求5所述的一种联合不同来源数据的变量选择方法，其特征在于，步骤E包括：

利用MM算法对损失函数进行二次近似，得到：

；并且是在迭代过程中得到，相关，迭代时可以忽略,；

通过二次近似后的损失函数，得到近似后的最优化问题的目标函数的表达式为：

建立和回归模型相匹配的模型评价标准体系；

在代码模块中，根据坐标下降法对近似后的目标函数进行最优系数求解，同时根据模型评价标准选择适用参数，将该求解过程在代码模块中进行整理打包得到模型文件；

将所述模型文件导入模型模块，当输入数据集时，自动实现模型的求解和优化，得到数据集回归系数的估计值。