所有神经网络的深层缺陷

最近有一篇论文报道了这样的信息，即神经网络似乎在识别事物方面存在一个基本问题，而现在我们对同一基本思想有了另一种扭曲。在这种情况下，您可以构建看起来与预期图像完全不同的图像，但仍然可以高度自信地对其进行分类。

来自一个团队的论文“神经网络的有趣特性”包括Google的深度学习研究项目的作者，我们在5月进行了报道（请参阅每个深度神经网络中的缺陷），发现了一些令人惊讶和令人不安的东西。

如果您拥有经过训练可正确识别不同事物的照片的深层神经网络DNN，则靠近任何正确分类的图像，都会有错误分类的图像。例如，如果您有一张汽车的照片，而DNN很有可能将其归类为汽车，则可能会发现图像的一系列小扰动，这些小扰动不会改变人类的外观，但会导致DNN将其分类为其他内容-即使对于人类来说，图像中可能也没有可检测到的变化。

简而言之-与任何正确分类的图像非常接近的是，有一个错误分类的图像，对抗图像，对人类而言几乎没有什么不同。

注意，这不是一个定理，只是基于对少量DNN的实际检查得出的观察结果。即便如此，这些DNN发挥作用并且对抗图像似乎被其他DNN错误分类的事实表明，正在发生着深刻而普遍的事情。

变化很小，分布在所有像素上，但是它们将“数据点”移到将所有汽车与其他类型的事物分开的边界之外。在原始论文中，这些对抗性图像是通过优化算法发现的，该算法应用了扰动将图片移出了正确的类别。

现在，我们对此效果进行了新的演示。在这种情况下，Anh Nguyen，Jason Yosinski和Jeff Clune利用遗传算法“繁殖”了以高概率或高可信度正确分类的图像，但对人类而言，看上去却不像它们应该是的对象。

实际上，DNN如此自信地分类的图像更像是人类的白噪声。例如，下图显示了由DNN LeNet以99.99％的置信度分类的“数字”图像：

对该算法稍作调整，就可以生成看上去更规则的图像，这些图像被确定为具有99.99％的确定性的数字，但是根据大多数人的看法，它仍然看起来并不像数字：

然后将相同的技术应用于Imagenet数据库，结果相似，以下结果被认为具有99.12％的平均置信度：

在这种情况下，您偶尔会看到一些功能上的相似之处-例如线虫，聚光灯和杆。但是，似乎正在发生的事情是图像正在刺激低级特征检测器，但不是以有组织的方式。如果局部图像刺激DNN，则包含重复副本的图像会增加总刺激。为了测试这一点，对一些包含重复的图像进行了编辑以减少重复，并且置信度确实下降了。

遗传算法方法在构造此类示例中不是必需的。该团队还使用一种标准的优化方法来生成大多数无法识别但仍具有高置信度的图像。

所有这些表明，DNN正在学习中低级功能，而没有利用它们之间的关系。例如，如果脸部有两只眼睛，鼻子和嘴巴，无论它们出现在图像中的什么位置，脸部都会被识别。

似乎也有一个概括-选育在一个DNN上以高置信度分类的图像似乎在另一个DNN上以高置信度分类。

那么发生了什么？

作者认为，进行歧视的方式存在问题。DNN为每个类别分配大量的图像空间，置信度与图像距边界的距离成正比-不考虑与类别中其他图像的接近程度。有太多可用空间，可以找到班级中的图像，但与类中的图像相距甚远。

这听起来很像是支持向量机发明的论点。也许DNN需要优化纯分类性能以外的其他东西？

在本文的最后，作者提出了一个有趣的问题，即这些发现如何影响DNN在实际应用中的使用。例如，安全摄像机可能会被设计为面部的“白噪声”所欺骗。也许正确的背景墙纸可能会影响视觉搜索分类器。可能性正在等待开发。无人驾驶汽车可以危险地转向以避开像行人一样看上去根本没有东西的想法目前是非常可能的-无论是偶然还是出于设计目的。