论文

项目(并未开源，仅有简介)

ReadPaper

知乎

视频

!!!3.16-19:00b站直播

ICLR2022 (Spotlight)

ABSTRACT

联邦学习（FL）可以极大地解决公众对人脸识别中数据隐私的日益关注。然而，由于任务的独特性，传统的FL方法表现不佳：在客户端和服务器中共享底座网络对识别性能至关重要，但会导致隐私泄露。为了解决"隐私与性能"的矛盾，提出了PrivacyFace框架，该框架通过在客户端之间传递辅助信息和隐私无关信息，极大地改进了联邦学习人脸识别。

利用差分隐私(Differential Privacy)的强隐私保护特性，将本地人脸特征空间信息进行脱敏处理并在客户端之间分享。

差分隐私

PrivacyFace主要由两部分组成：首先，提出了一种基于差分隐私的本地聚类算法（Differentially Private Local Clustering，DPLC），从客户端的众多平均人脸特征中脱敏出隐私无关的群体特征。 第二个是的全局一致性人脸识别损失函数（Consensus-Aware Face Recognition Loss)，利用各客户端的脱敏群体特征促使全局特征空间分布。

从数学上证明，所提出的框架是差分隐私的，引入了轻量级的开销，并产生了显著的性能提升。在大规模数据集上进行的大量实验和消融研究已经证明了我们方法的有效性和实用性。

INTRODUCTION

在全国2021年度“315秀”节目中，中国中央电视台（CCTV）在没有明确用户同意的情况下，召集了几个知名品牌进行非法人脸收集。因此，ImageNet（Deng等人，2009年）中的人脸最近都被模糊化了（Yang等人，2021年），一个名为MS-Celeb-1M（Guo等人，2016年）的大型人脸数据集被从互联网上删除。

如图1a所示，给定具有本地数据集{D1，D2，···，DC}的C客户，FL通过结合本地模型来分散培训过程，并根据每个客户的私人数据进行调整，从而防止隐私泄露。这些客户的典型例子包括包含少数家庭成员照片集的个人设备，或开放世界场景，如成千上万人参观的旅游景点。 在大多数情况下，我们可以安全地假设很少有类会在两个或多个客户机中共存。

尽管在不同领域（Kalouz等人，2019）从健康到NLP的许多基于FL的应用，在训练具有FL方案的面部识别模型方面很少有进展（AggWal等人，2021；Bi等人，2021；刘等人，2021）。 与其他任务不同，人脸识别模型的最后一个分类器的参数对识别性能至关重要，但与隐私密切相关。 这些参数可以被视为身份的平均嵌入（也称为阶级中心），通过大量研究，可以从中窥探个人隐私。这会阻止FL方法在客户端和中央服务器之间广播整个模型，从而导致本地更新聚合中的冲突。

如图1a的全局特征分布所示，两个客户机都试图在规范化特征空间的相同区域（箭头所指）中发布它们自己的类。因此，考虑到来自多个客户的次优解决方案，训练损失可能会振荡以达成共识。另一方面，对于先进的人脸识别算法来说，学习一个有区别的嵌入空间需要大量的负类。 在传统的FL更新过程中，每个类只知道本地的负面类，而来自其他客户端的类是不可触及的。 这进一步限制了FL方法在人脸识别中的性能。

“隐私与性能"的矛盾促使我们引入PrivacyFace，这是一个通过全局广播局部类的净化信息来改进联邦学习人脸识别的框架。在该框架中，一种称为差分隐私本地聚类（DPLC）的新算法首先生成与隐私无关的类中心簇，而不管攻击者的先验知识、信息源和其他持有信息，不能获得簇中的任何特定个体。回想一下，差分隐私方案的隐私成本与l2敏感度成正比，而与查询数量成反比。我们的DPLC通过限制簇大小以及覆盖足够的类中心来达到较低的l2敏感度。此外，在DPLC中进行通信所需的中心数量与训练数据中的类数量无关。这些特性共同为DPLC提供了比单纯的替代方案低得多的隐私成本，后者通过高斯噪声分别净化每个类中心。在我们的实验中，DPLC的隐私成本仅为单纯方法的1.7e-7。这令人信服地揭示了我们方法的高度安全性。

PrivacyFace的第二部分是共识感知的人脸识别损失。遵循联邦平均(FedAvg)(McMahan等人，2007a)的原则，服务器迭代地从客户端收集特征提取器和与隐私无关的群集，平均特征提取器的参数，并将它们分发给客户端。因此，如图1B所示，协商感知丢失通知每个客户端在局部优化期间不要将样本嵌入特征间隔的不适当区域(用DP标记的差异专用簇)中。该过程帮助每个客户训练更多的鉴别特征，以及对齐所有共识。与传统方法相比，我们的PrivacyFace在IJB-B和IJB-C上分别将tar@Far=1e-4的性能提高了+9.63%和+10.26%，而隐私代价仅为个位数。此外，额外的计算成本和通信成本可以忽略不计(例如，要广播的额外簇仅占用16K存储，而主干已经占用212M)。总之，PrivacyFace是一种有效的算法，它在很大程度上改善了传统的联合学习人脸识别的性能，同时几乎没有隐私开销，而且涉及到轻量级的计算/通信开销。

在联联邦设置下，多个客户端在中央服务器的协调下传递非敏感模型参数φc(包括与隐私密切相关的最后一个完全连接层WC)。(a)由于在传统的FL更新中WC是局部保存的，因此在训练过程中不同类别的嵌入空间可能会重叠。(b)相反，所提出的PrivacyFace框架通过聚合已被证明能够实现差异化隐私的区别性嵌入簇来学习改进的人脸嵌入。