一种提高图像识别模型可解释性的策略

在过去的十年左右的时间里，深度神经网络在包括图像识别任务在内的各种任务上都取得了非常有希望的结果。尽管它们具有优势，但它们却非常复杂和复杂，这使得解释他们学到的知识以及确定其预测背后的过程变得困难甚至有时是不可能的。缺乏可解释性使得深度神经网络有些不可信任且不可靠。

由Cynthia Rudin教授领导的杜克大学预测分析实验室的研究人员最近设计了一种可以改善深度神经网络的可解释性的技术。这种方法称为概念美白(CW)，最早是在《自然机器智能》上发表的一篇论文中介绍的。

“我们没有进行事后分析来查看NN的隐藏层，而是直接更改NN来使潜空间解开，以便使轴与已知概念对齐，”进行这项研究的研究人员之一陈智，告诉Tech Xplore。“这种纠缠可以使我们对网络如何逐步学习层上的概念有了更清晰的了解。它还集中了有关一个概念(例如“灯”，“床”或“人”)的所有信息，仅通过一个神经元;这就是解缠的意思。”

最初，Rudin和她的同事们设计的技术解开了神经网络的潜在空间，使它的轴与已知概念对齐。从本质上讲，它执行“白化转换”，类似于将信号转换为白噪声的方式。此转换对潜在空间进行去相关。随后，旋转矩阵从战略上将不同的概念与轴进行匹配，而无需反转该去相关性。

Rudin解释说：“ CW可以应用于NN的任何层，以获取可解释性，而不会损害模型的预测性能。” “从这个意义上讲，我们只需很少的努力就可以实现可解释性，并且不会在黑匣子上失去准确性。”

可以使用新方法来提高用于图像识别的深度神经网络的可解释性，而不会影响其性能和准确性。此外，它不需要大量的计算能力，这使得跨各种模型和使用更多设备的实现变得更加容易。

Chen说：“通过沿着网络的早期层看，我们还可以看到它如何创建概念的抽象。” “例如，在第二层中，飞机在蓝色背景上显示为灰色物体(有趣的是可以包括海洋生物的图片)。神经网络仅在第二层中没有太多的表达能力，因此很有趣以了解它如何在该层表达复杂的概念，例如“飞机”。”

该概念可能很快使深度学习领域的研究人员可以对正在开发的模型进行故障排除，并更好地了解模型预测背后的过程是否值得信任。此外，提高深度神经网络的可解释性可以帮助揭示训练数据集可能存在的问题，从而使开发人员可以解决这些问题并进一步提高模型的可靠性。

Chen补充说：“将来，我们计划不依赖于预定义的概念，而是从数据集中发现这些概念，特别是尚未发现的有用的未定义概念。” “然后，这将使我们能够以无纠缠的方式在神经网络的潜在空间中明确表示这些发现的概念，以提高可解释性。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！