科研项目

一、项目描述/目标

       本项目将专注于研究现实业务场景下的黑盒对抗攻击算法，即在未获知模型参数和结构的前提下，仅仅通过访问API接口，根据查询反馈结果来制造对抗噪声。本项目的目标是作为腾讯产品的安全测试基准，并且有针对性地开发相应的防御方法。

二、重要性/影响, 挑战/痛点

       人工智能技术已经被广泛地运用于腾讯的产品和服务中，比如腾讯云提供的人脸识别、图像识别等产品，以API的形式向用户提供服务。但是，恶意攻击者可以以黑盒攻击的方式窃取、欺骗模型，或者泄漏模型训练数据。一旦攻击成功，将给腾讯带来难以估量的经济和声誉损失。因此，为了保障腾讯各项服务的安全，研究实际场景下的高效黑盒攻击算法是十分必要的。此外，现有黑盒对抗攻击算法，如查询式、迁移式、查询与迁移结合式，尚有各自不足之处。

三、解决方案描述

       本项目的解决方案是将研发一种针对实际场景下的高效黑盒对抗攻击算法。首先，将简单的高斯分布映射到复杂分布。其次，利用对样本间的对抗迁移性进行建模。最后，将替代模型上学习到的对抗噪声分布中的映射参数迁移。

四、主要贡献/商业价值

       本项目不仅将在人工智能安全上作出理论贡献，对于保障腾讯产品安全也将具有重要实际意义。

五、下一步计划

        研究黑盒攻击的防御方案

六、合作伙伴

       腾讯

七、团队成员

       秦泽钰、朱明丽、曾耀沛