探索深度神经网络中的快捷学习概念

在过去的几年中，人工智能(AI)工具(尤其是深度神经网络)在许多任务上取得了显著成果。但是，最近的研究发现这些计算技术具有许多局限性。在最近发表于《自然机器智能》上的一篇论文中，蒂宾根大学和多伦多大学的研究人员探索并讨论了一种称为“捷径学习”的问题，该问题似乎是近年来发现的许多深度神经网络缺点的基础。

进行这项研究的研究人员之一罗伯特·盖洛斯(Robert Geirhos)告诉TechXplore表示：“我决定与亲爱的同事，我的朋友克劳迪奥·麦可利斯(Claudio Michaelis)一起在进行与科学有关的旅行，着手进行这个项目。” “我们首先参加了一次深度学习会议，然后参观了一个动物研究实验室，最后一次是人类视觉会议。令人惊讶的是，我们注意到在非常不同的环境中出现了相同的模式：“捷径学习”或“作弊”出现了。成为人工智能和生物智能的共同特征。”

Geirhos和Michaelis认为，他们观察到的现象即快捷学习可以解释许多深度神经网络的出色性能和标志性故障之间的差异。为了进一步研究这个想法，他们与其他同事合作，包括Jörn-HenrikJacobsen，Richard Zemel，Wieland Brendel，Matthias Bethge和Felix Wichmann。

研究人员各自以独特的方式为研究做出了贡献，并与他们的专业领域保持一致，从神经科学到机器学习和心理物理学。他们的论文包括在机器和动物中进行快捷学习和作弊的示例，例如，深度神经网络的特定故障，以及在实验中“作弊”老鼠和在考试中作弊的学生。

盖洛斯说：“我们希望我们的观点能很好地介绍这个问题，并鼓励采用更强大，更合适的测试方法来防止在将高级能力归因于机器之前作弊。” “鉴于这篇文章是一种观点，我们借鉴了众多作者撰写的许多精彩文章，每篇文章都为这一难题做出了贡献。对我个人而言，重要的先驱是我在ICLR和VSS会议上提出的项目，发现神经网络中的纹理偏差-一种快捷学习的实例。”

捷径学习一词描述了机器尝试识别最简单的解决方案或解决给定问题的“捷径”的过程。例如，深度神经网络可以认识到特定的纹理补丁或对象(例如汽车轮胎)的一部分通常足以使它们预测图像中汽车的存在，并因此可以开始预测物体的存在。即使仅包含汽车轮胎，也可以在图像中显示汽车。

“捷径学习本质上意味着神经网络喜欢欺骗，”盖洛斯说。“乍一看，AI​​似乎常常表现出色，例如，它可以识别图片中是否包含动物，例如绵羊。只有仔细检查，才发现神经网络被骗了，只是看着背景。”

神经网络作弊的一个例子是将空的绿色景观归类为“绵羊”的情况，这是因为它以前处理过的图像是绵羊站在自然景观的前面，而当绵羊在自然景观面前时却无法识别在不寻常的环境中(例如在海滩上)。这是Geirhos及其同事在论文中提到的众多示例之一。

虽然这是快捷学习的直接示例，但通常这些作弊模式要微妙得多。它们可能如此微妙，以至于研究人员有时难以确定人工神经网络正在采用的作弊策略，并且可能只是意识到它无法以他们希望的方式解决任务。

盖洛斯说：“这种作弊方式在日常生活中是相似的，例如，当学生为上课做准备，只在不真正理解问题的情况下，内心学习事实时，”。“不幸的是，在人工智能领域，捷径学习不仅会导致看似出色的表现，而且在某些情况下还会导致歧视，例如，当人工智能更喜欢向男性求职时，因为以前的职位已经主要由男性担任， 。”

本文定义，描述和探索了快捷学习的概念，同时还解释了快捷学习如何影响深度神经网络的性能，并与在人类和其他动物中观察到的行为进行类比。他们的工作可能会激发其他研究团队更详细地研究深度神经网络的缺点，也许有助于防止它们作弊的解决方案的开发。Geirhos和他的一些同事现在正在开发更强大的测试方法，以仔细研究现有和新兴的基于深度神经网络的模型的局限性。

“我们鼓励我们的同事共同开发和应用更强大的测试程序：只要没有检查过一种算法是否可以应对意外的图像(例如沙滩上的一头牛)，至少应该认为作弊的可能性非常大，” Geirhos说过。“所有闪闪发光的东西都不是金子：仅仅因为据报道AI在基准上取得了高分并不意味着AI也解决了我们实际上关心的问题;有时，AI只是找到捷径。但是，幸运的是，当前的方法的人工智能 绝对不是愚蠢的，而是太懒惰：如果受到足够的挑战，他们可以学习高度复杂的关系，但是，如果发现了简单的捷径，他们将是最后一个抱怨的人。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！