该论文目的是对人工智能系统的安全性做到一个技术性评估。9月4日，被誉为机器学习和神经网络领域的顶级会议之一的NeurIPS2019入围收录于论文名单，创新工场人工智能工程院的论文“LearningtoConfuse：GeneratingTrainingTimeAdversarialDatawithAuto－Encoder”被接管在列，论文的三位作者分别是：创新工场南京国际人工智能研究院继续执行院长冯霁、创新工场南京国际人工智能研究院研究员蔡其志、南京大学人工智能学院院长周志华。这篇论文环绕现阶段人工智能系统的安全性进行研究，明确而言，文章明确提出了一种高效分解对付训练样本的方法DeepConfuse，通过黯淡扰动数据库的方式，完全毁坏对应的自学系统的性能，超过“数据毒死”的目的。

论文第一作者冯霁回应，该论文目的是对人工智能系统的安全性做到一个技术性评估，假设数据库被蓄意伪造的话，对应的系统不会怕出什么样。另一个目的也是期望敦促引发对该问题的推崇。创新工场“数据毒死”论文选入顶会NeurIPS“LearningtoConfuse：GeneratingTrainingTimeAdversarialDatawithAuto－Encoder”这篇论文的主要贡献，就是明确提出了高效分解对付训练数据的最先进设备方法之一——DeepConfuse，通过挟持神经网络的训练过程，教会噪声生成器为训练样本加到一个有界的扰动，使得该训练样本训练获得的机器学习模型在面临测试样本时的一般化能力尽量地差，十分精妙地构建了“数据毒死”。顾名思义，“数据毒死”即让训练数据“中毒”，明确的反击策略是通过阻碍模型的训练过程，对其完整性导致影响，进而让模型的先前预测过程经常出现偏差。

（“数据毒死”与少见的“对付样本反击”是有所不同的反击手段，不存在于有所不同的威胁场景：前者通过改动训练数据让模型“中毒”，后者通过改动待测试的样本让模型“被骗”。）举例来说，假如一家专门从事机器人视觉技术开发的公司期望训练机器人辨识现实场景中的器物、人员、车辆等，却差点被入侵者利用论文中提到的方法伪造了训练数据。研发人员在目视检查训练数据时，一般来说会感官到出现异常（因为使数据“中毒”的噪音数据在图像层面很难被肉眼辨识），训练过程也一如既往地成功。

但这时训练出来的深度自学模型在一般化能力上不会大幅度发育，用这样的模型驱动的机器人在现实场景中不会完全“懵圈”，陷于什么也认不出的失望境地。更有甚者，攻击者还可以精心调整“毒死”时所用的噪音数据，使得训练出来的机器人视觉模型“蓄意当面”某些东西，比如将障碍认成是通路，或将危险性场景标记成安全性场景等。

为了达成协议这一目的，这篇论文设计了一种可以分解对付噪声的自编码器神经网络DeepConfuse，通过观察一个假想分类器的训练过程改版自己的权重，产生“有毒性”的噪声，从而为“受害者的”分类器带给低于下的一般化效率，而这个过程可以被归结一个具备非线性等式约束的非凸优化问题。此外，论文中明确提出的方法还能有效地拓展至针对特定标签的情形下，即攻击者期望通过一些预先指定的规则使模型分类错误，例如将“猫”错误分类成“狗”，让模型按照攻击者计划，定向再次发生错误。对数据“毒死”技术的研究并不单单是为了说明了类似于的AI侵略或反击技术对系统安全的威胁，更加最重要的是，只有深入研究涉及的侵略或反击技术，才能有针对性地制订防止“AI黑客”的完备方案。

AI安全性攻守还在探索期，不不存在一个包治百病的“疫苗”当前，随着AI算法、AI系统在国计民生涉及的领域渐渐获得普及与推展，科研人员必需明了地掌控AI安全性攻守的前沿技术，并有针对性地为自动驾驶、AI辅助医疗、AI辅助投资等牵涉到生命安全、财富安全性的领域研发最有效地的防水手段。在线上的发布会中，创新工场CTO、人工智能工程院继续执行院长王咏刚也回应，目前的AI系统攻守正处于十分早期的研发阶段，与传统安全性领域早已比较成熟期的方法论、算法、工具、平台等比起，AI安全性攻守还正处于探索期。

目前的主流反击方法，如对付样本反击，数据毒死反击等，虽然早已有一些防止思路，但无论是反击技术，还是安全性防水技术都在发展中。冯霁则回应，“目前防水的技术还正处于更为初期的情况，类似于网络安全，不不存在一个包治百病的“疫苗”，对于人工智能企业，我们建议必须创建专门的安全性团队，对自家的系统展开全方位的维护。”除了安全性问题之外，人工智能应用于的数据隐私问题，也是创新工场AI安全性实验室重点注目的议题之一。

近年来，随着人工智能技术的高速发展，社会各界对隐私维护及数据安全的市场需求强化，联邦自学技术应运而生，并开始更加多地受到学术界和工业界的注目。明确而言，联邦自学系统是一个分布式的具备多个参与者的机器学习框架，每一个联邦自学的参与者不必须与其余几方分享自己的训练数据，但依然能利用其余几方参与者获取的信息更佳的训练牵头模型。

换言之，各方可以在在不分享数据的情况下，分享数据产生的科学知识，超过共赢。创新工场AI工程院十分寄予厚望联邦自学技术的极大应用于潜力，今年3月，冯霁代表创新工场被选为为IEEE联邦自学标准制订委员会副主席，著手前进制订AI协同及大数据安全领域首个国际标准。创新工场也将沦为联邦自学这一技术“法律”的必要参与者。创新工场AI工程院论文成果进帐多项国际顶会创新工场凭借独有的VC＋AI（风险投资与AI研发结合）的架构，致力于扮演着前沿科研与AI商业化之间的桥梁角色，他们于2019年广泛开展科研合作，与其他国际科研机构合作的论文在多项国际顶级会议中崭露头角，除上述讲解的“数据毒死”论文选入NeurlPS之外，还有8篇收录于至五大学术顶会，明确还包括：两篇论文选入计算机视觉领域国际顶会ICCV、一篇论文选入机器人与自动化领域国际顶会IROS、三篇论文选入自然语言处置领域国际顶会EMNLP、一篇论文选入计算机图形学和可视化领域国际顶级期刊IEEETVCG、一篇论文选入计算机网络顶级学术会议NSDI。