科研动态

近日，深圳市大数据研究院大数据安全计算实验室吴保元教授团队的三篇研究论文被IEEE计算机视觉与模式识别会议CVPR2022收录。CVPR是由美国电气及电子工程师学会（IEEE）组织的计算机视觉领域顶尖的国际会议之一，与ICCV（计算机视觉国际会议）和ECCV（欧洲计算机视觉会议）并列为计算视觉领域最顶级的三大国际会议。2022年举办地为美国新奥尔良州路易斯安那市。

论文简介：

Boosting Black-Box Attack with Partially Transferred Conditional Adversarial Distribution

简介：本文研究在黑盒场景下的模型安全问题，即攻击者仅通过模型给出的query feedback，就可实现对于目标模型的攻击。当前主流的方法是利用一些白盒代理模型和目标模型（即被攻击模型）之间的对抗可迁移性来提升攻击效果。然而，由于代理模型和目标模型之间的模型架构和训练数据集之间可能存在差异，即“代理偏差”（surrogate bias），对抗性可迁移性对提高攻击性能的贡献可能会被削弱。为了解决这个问题，本文提出了一种对代理偏差具有鲁棒性的对抗可迁移性机制。总体思路是将代理模型的条件对抗分布的部分参数迁移，同时根据对目标模型的query学习未迁移的参数，以保持在任何新的干净样本上调整目标模型的条件对抗分布的灵活性。本文在大规模数据集以及真实API上进行了大量的实验，实验结果证明了本文提出方法的有效性。

LAS-AT: Adversarial Training with Learnable Attack Strategy

简介：对抗训练通常被描述为一个min-max的优化问题，其性能取决于内部的max优化问题，即对抗样本的生成。以前的大多数方法都采用投影梯度下降，手动指定对抗样本的攻击生成参数。攻击参数的组合可以被称为攻击策略。一些研究表明，在整个训练阶段使用固定的攻击策略生成的对抗样本会限制模型的鲁棒性，并提出在不同的训练阶段使用不同的攻击策略来提高鲁棒性。但是，这些多阶段的手工设计的攻击策略需要大量的专业知识，而且鲁棒性改进有限。在本文中，我们通过引入“可学习的攻击策略”的概念，提出了一种新的对抗训练框架，它学习自动生成攻击策略，以提高模型的鲁棒性。我们的框架由一个使用对抗样本进行训练以提高模型鲁棒性的目标网络和一个生成攻击策略以控制对抗样本生成的策略网络组成。在三个基准数据库上的实验评估表明了该方法的优越性，并且该方法优于现有的对抗训练方法。

Accelerating Neural Network Optimization Through an Automated Control Theory Lens

简介：本文从自动控制理论的角度设计了通用的深度网络训练加速器。我们将网络的参数更新视为反馈控制过程。它带来了两个贡献:首先，我们从理论上分析了深度网络训练和自动控制反馈系统之间的详细的一一对应关系。特别地，我们证明了优化过程可以看作是控制领域中的一型2阶系统。其次，在等效系统的数学模型的基础上，我们进一步根据控制理论的方法设计了一种具有解耦权值衰减的自适应比例积分微分优化器，以加速深度神经网络的训练。我们分别从控制系统仿真的角度以及深度神经网络训练的角度进行实验，在CNN，Transformer，MLP等多种深度模型和多个基准数据集上的实验结果验证了所提出的优化器的有效性。

实验室简介：

深圳市大数据研究院大数据安全计算实验室成立于2020年7月，主要关注AI安全与隐私领域，例如对抗攻防、后门攻防、联邦学习等。实验室的研究方向贯穿AI应用的全生命周期，包括探索AI应用中可能存在的安全隐患、分析安全隐患存在的背后机理、评估由攻击造成的隐私损失、设计有效的防御算法。大数据安全计算实验室一直致力于创造安全、可信、可靠、可控的新一代人工智能技术。近年来，实验室在对抗攻防、后门攻防以及联邦学习方面取得了一系列令人瞩目的原创科研成果。

实验室招聘信息：

1.香港中文大学（深圳）职位：

• 博士后研究员
• 博士研究生（2023年秋入学）
• 研究方向：人工智能安全与隐私、机器学习，计算机视觉，最优化
•  

2.深圳市大数据研究院大数据安全计算实验室职位：

•  
• 研究科学家
• 算法工程师
• 访问学生
• 研究方向：人工智能安全与隐私（对抗样本、后门攻击、联邦学习等）

实验室相关信息：

SCLBD网站

吴保元教授个人主页:

吴保元教授联系方式：

wubaoyuan@cuhk.edu.cn

wubaoyuan1987@gmail.com