来源：nature

芯片采购网专注于整合国内外授权IC代理商现货资源，芯片库存实时查询，行业价格合理，采购方便IC芯片，国内专业芯片采购平台。

编译:张大笔茹、小七

假设一辆自动驾驶汽车在看到停车标志时没有减速，而是加速到繁忙的十字路口，导致交通事故。事故报告显示，停车标志的表面粘有四个小矩形标志。这表明一些小的干扰可以愚弄车载人工智能（AI），误读停止一词为限速45。

此类事件尚未发生，但人为干扰可能会影响AI这是非常现实的。研究人员已经展示了如何通过粘贴纸作弊AI系统误读停车标志，或通过在眼镜或帽子上粘贴印刷图案来欺骗人脸识别系统，或通过在音频中插入白噪声来产生错误的判断。

这只是一些攻击AI领先的模式识别技术-深度神经网络（DNN）的小示例。事实证明，这些方法在正确分类各种输入(包括图像、语音和相关消费者偏好的数据)方面非常成功。从自动电话系统到流媒体服务Netflix这些都是日常生活的一部分。人类难以察觉的输入微小变化会混淆周围最好的神经网络。

加利福尼亚大学伯克利计算机科学博士生Dan Hendrycks说在这种不完美的技术中，这些问题比特殊的怪癖更麻烦。和许多科学家一样，他一开始也认为这是DNN内在缺陷:任务可以在训练领域出色完成，但一旦进入陌生领域，由于各种原因会失败。

这可能会导致严重的问题。从实验室到现实世界，从自动驾驶汽车到犯罪测量和疾病诊断，越来越多的深度学习系统。然而，今年的一份研究报告称，恶意添加到医学扫描中的图像可能会使DNN误诊癌症。另一方面，黑客可以利用这些弱点在网上黑掉一个AI运行自己的代码。

在寻找问题根源的过程中，研究人员发现了许多问题DNN失败的原因。位于加州山景城的加州Google的AI工程师Franois Chollet认为，“DNN没有解决内在缺陷的办法。为了克服这些缺陷，研究人员需要开发额外的功能来增强模式匹配DNN，例如，使AI能够自己探索世界，自己写代码，保留记忆。一些专家认为，这将是未来十年AI研究方向。

现实检验

谷歌于2011年开发Torex代理一个可以识别YouTube视频中的猫系统很快就出现了一波基于它的系统DNN分类系统。加州旧金山Uber AI Labs怀俄明大学拉拉米分校的高级研究经理杰夫·克劳恩（Jeff Clune）说，不知就里的人都在说，哇，这太神奇了，电脑终于能理解世界了。

但只有AI研究人员知道DNN事实上，我不了解这个世界。它们只是由许多数字神经元组成的松散模型，分布在许多上下相互连接的各层网络中。

其思想是，原始输入到底部的特征（如图像中的像素）会触发一些神经元，然后根据简单的数学规则将信号传输到上一层的神经元，每次调整神经元的连接模式并进行训练DNN该网络涉及将其暴露在大量的例子中，以便最终提供所需的答案。例如，即使是DNN我以前从未见过这张照片，我总能把狮子的照片输出给狮子。

2013年，Google研究员Christian Szegedy与同事一起发布了一份名为神经网络的有趣特征的预印本，这是对神经网络实际应用的第一次检验。以狮子的图像为例，即使改变了一些像素，比如在图像中添加图书馆背景，DNN它可以确认它看到了不同的内容，但然可以识别图中的狮子。小组称篡改图像为对抗样本。