[发明专利]基于隐私保护的语音数据处理方法

权利要求书

1.一种基于隐私保护的语音数据处理方法，其特征在于，包括以下步骤：

步骤1、定义语音数据集D＝(cate,S)，其中，cate是数据集标签；S是语音数据，包括语音内容c和说话人的声音v，语音内容c是语音数据的文本信息，说话人的声音v体现用户的身份信息，说话人的声音v和语音内容c之间存在映射关系，即F:c→v，称F为c和v之间的相关性；

定义语音数据发布中存在的隐私保护问题，对于一条语音数据S，定义隐私泄漏风险的五个指标，分别为文本、语音属性、声纹、成员关系和相关性泄漏风险，分别用表示，其中，P_m只与数据集标签cate有关，每条语音数据S的总的隐私泄露风险表示为：其中，f_p是求和函数；

定义五个有效性损失指标分别为文本可靠性损失、语音多样性损失、语音质量损失和数据集清晰度损失，分别用U_t,U_vd,U_sq,U_dc,U_co表示，语音数据集D的总的有效性损失表示为：U＝f_u(U_t,U_vd,U_sq,U_dc,U_co)，其中，f_u是一个求和函数；

步骤2、对语音数据集D的类型描述cate进行处理，成员关系P_m随着处理方式x的不同而变化，表示成P_m＝f₁(x)，同时造成了数据清晰度损失U_dc＝f₂(x)；

对语音内容c进行处理，此时文本泄漏风险P_t^s＝f₃^s(y^s)，y^s中的上标s表示语音数据集D中的每一条语音数据S都进行处理，f₃^s中的上标表示每一条语音数据S的处理方法会有所不同，对语音内容c的处理，造成语音内容c的可靠性U_t损失，使得其中

使用语音转换技术，对说话人的声音v进行处理，同时减少声音属性和声纹的泄露此时使用语音转换技术后，对语音多样性损失U_vd和语音质量损失U_sq产生影响，其中U_vd＝f₇(z¹,z²,...,z^N)，N是语音数据集D中的语音数据的总数，z表示语音转换，U_vd是由N条语音数据s共同决定的；语音质量损失U_sq表示成N条语音数据各自的损失的累加值，即其中y表示关键字扰动，在用关键字扰动y或者语音转换z对语音数据S进行处理后，会增加语音数据中说话人的声音v和语音内容c的不匹配度，导致这条语音显得十分突兀，更容易引起攻击者的注意，从而增加了隐私泄露的风险，将这种风险称为相关性泄露风险此外，相关性的降低也会影响该数据集的有效性U_co＝f₁₀(y^s,z^s)，相关性损失U_co也会受到关键字扰动y和语音转换z的影响；

步骤3、基于步骤2得到的结论，将语音数据集D的总的有效性损失U＝f_u(U_t,U_vd,U_sq,U_dc,U_co)以及每条语音数据S的总的隐私泄露风险进一步表示为：

P^s＝f_p(f₃^s(y^s),f₅^s(z^s),f₆^s(z^s),f₁(x),f₉^s(y^s,z^s))；

步骤4、从语音内容c，说话人的声音v和数据集标签cate这三个方面，分别对隐私泄露风险P^S和有效性损失U进行具体的定义与量化：

对语音内容c而言，存在文本内容的隐私泄露风险P_t^s和文本可靠性损失U_t两个指标，具体定义如下：

文本内容的隐私泄露风险P_t^s：将每条语音数据中各个单词的TF-IDF值之和定义为P_t^s；

文本可靠性损失U_t：当替换或者去掉原始的文本内容中的敏感部分，会引起文本可靠性损失，把插入或者删除一个单词带来的损失设为1，当替换一个单词时，替换带来的损失取决于替换的单词和原始单词的相似度，如果替换的单词和原始单词从语法和语义上都很接近，带来的损失r就很小，因此每条语音数据的损失表达成其中，s表示替换的单词数，d表示删除的单词数，i表示插入的单词数，N表示处理过后的一条语音数据中的全部单词数，从而保证

则整个语音数据集D的损失U_t通过计算全部语音数据的损失的平均值N表示该语音数据集D中的总的语音数据条数；

对说话人的声音v而言，存在声音属性的隐私泄露风险声纹的隐私泄露风险以及语音多样性损失U_dv和语音质量损失四个指标，具体定义如下：

声音属性的隐私泄露风险通过对声音的分析，攻击者可以获得受害者的声音属性，假设总共可以获得n₁种声音属性，每种声音属性的重要程度用a_i(1≤i≤n₁)表示，可得

声纹的隐私泄露风险p_vp是一个0到1之间的常数，用来表示声纹的泄露程度，当p_vp＝1时，意味声纹已经完全泄露出去了，攻击者可以利用获得的声纹，以100％的成功率顺利通过基于声纹的身份认证，当声音经过特殊处理后，p_vp的值会降低；

声音多样性的损失声音多样性取决于说话人的性别、年龄和地区的多样性，分别计算数据处理前后的性别、年龄和地区的联合分布函数(Q₁,Q₂)，将U_vd定义为Q₁,Q₂之间的距离：用Hellinger distance作为U_vd的度量标准；

语音质量的损失采用国际电信联盟提供的主观语音质量评估PESQ来评估一段语音数据的语音质量好坏，主观语音质量评估PESQ表示的是经过处理后的语音和参考语音之间的相似度，语音质量的损失表示成

对数据集标签cate而言，存在成员关系的隐私泄露风险P_m以及数据清晰度的损失U_dc两个指标，具体定义如下：

隐私泄露风险P_m：攻击者可以从数据集标签cate中获得一些属性，假设总共可以获得n₂种属性，每种属性的重要程度用b_i(1≤i≤n₂)表示，可得

数据清晰度的损失U_dc：假设一个数据集被n₃个使用者所使用，用w_i表示各个使用者对数据清晰度要求的高低，出于归一化的考虑，令在对类型描述进行处理后，若仍有n₃′个使用者，定义为集合K，对数据清晰度感到满意，则数据清晰度的损失U_dc可表示为

步骤5、考虑语音内容c和说话人的声音v两者之间的相关性F，并把相关性F作为一种新的隐私风险包括以下步骤：

步骤501、将语音数据集D中的语音数据S按照用户的年龄划分成三类，即少年、青年和中年三个年龄段，即S＝{S₁,S₂,S₃}，其中，S₁、S₂、S₃依次是少年、青年和中年的语音数据；s_i＝(v_i,c_i)∈S_i，i＝{1,2,3}；

步骤502、找到少年、青年和中年各自特有的词汇库，把少年、青年和中年的词汇库依次定义为G₁,G₂,G₃，把少年、青年和中年的年龄依次定义为E₁,E₂,E₃；

步骤503、若一条声音为G_i的语音数据中出现了n^*个G_j中的词汇，i＝1,2,3，j＝1,2,3且j≠i，若n^*超过了一定的数量n₀认为产生了相关性泄露，即

步骤6、分别对语音内容c，说话人的声音v和数据集标签cate进行处理，包括以下步骤：

对语音内容c的处理：

把TF-IDF值大于门限值δ的单词称为关键字，一条语音数据的文本泄露风险P_t^s是各个单词的TF-IDF值的相加，即通过更改或者替换TF-IDF值较大的单词来降低P_t^s，对语音内容c的处理分为以下三个步骤：

(1)利用语音识别技术，从语音数据中获得相应的文本内容，然后利用关键字识别技术找到关键字；

(2)利用DTW技术，在语音流中确定这些关键字的位置；

(3)在语音流中，对这些关键字进行替换或者删除，其中，替换的原则是用同类型的其它词来替换关键字，在替换时，为了消除语音数据中文本内容和声音的相关性泄露风险根据说话人的声音到对应的词汇库中选择用于替换的单词，使得相关性泄露风险为0，用r来表示替换前后两个词之间的相似度，两个词之间的相似性越高，r越接近0，假设n个关键字被替换后，产生的文本可靠性损失为：删除相当于r＝1的特殊情况；

利用命名实体进行关键字识别；

对说话人的声音v的处理：

采用语音转换技术来改变每条语音数据的声音

对数据集标签cate的处理：

假设数据集标签cate由n个部分组成{a₁,a₂,...,a_n}，通过删除若干个a_i从而减小成员关系泄露P_m的值，使其小于设定的预算值，为了成员关系泄露P_m与数据清晰度损失U_dc之间的最优化，采用贪心策略，将{a₁,a₂,...,a_n}按照重要性从高到低重新排序，每次从最底层的a_i开始删除，当P_m低于预算值时就停止；

步骤7、将隐私泄露风险P^S和有效性损失U分成三个子问题来讨论，这三个子问题分别对应下式中的限制条件1、2、3：

先将和记为和设这五个风险指标的初始值依次为P_to,P_vao,P_vpo,P_coo,P_mo，都是关于参数α的函数，因此，将这两者的加权和作为一个整体考虑；相对应地，也做相同的处理，β_i,ω_i表示权重系数，权重系数的值越大，表明对某个指标更加重视；

解决上述三个子问题的基本原则是使各个风险指标尽可能地靠近或者等于设定的预算值，这样就会让最终产生地有效性损失的值是最小的；

P_t^s≤β₁P为限制条件1，对于限制条件1：因为P_t^s、都是关于门限值λ的函数，通过计算P_t^s(λ₀)＝β₁P就能得到最优解λ＝λ₀；

为限制条件2，对于限制条件2:P_v^s是关于弯曲程度α的函数：

1)设的初始值是P_vo、P_coo；

2)

则α＝α₀为最优解,return

由此条件，能得到风险预算值的最小值：min(P)＝min{ω₁P_vao+ω₂P_vpo,P_coo}/β₂；

为限制条件3，对于限制条件3：采用之前提过的贪心策略，从重要性较低的标签元素开始删除，直到小于规定的预算值。