DeepMind新论文: 用认知心理学方法打开深度学习的黑箱

唐旭 李林 编译整理

最近，DeepMind在Arxiv上发布了Interpreting Deep Neural Networks using Cognitive Psychology，将认知心理学的方法引入深度神经网络的研究。

这是DeepMind入选今年ICML(机器学习国际会议)的论文之一。在公开论文的同时，他们还在官方博客上对这篇论文做了介绍。

为什么要用认知心理学方法来研究深度神经网络呢？

我们经常在新闻中看到，深度神经网络的能力不断提升，在图像识别、语音识别以及玩各种游戏的能力上，一一超越了人类。

不过，随之而来的也是越来越复杂的架构，和越来越看不懂的决策过程。

也就是所谓的“黑箱”问题。

黑箱

现在，每次提到深度学习，“黑箱”这个词似乎如影随形。DeepMind的论文中说，“这种不透明性不仅阻碍了尝试提升这些模型的基础性研究，也影响了它们在实际场景中的落地。”

怎么打开这个黑箱，成了研究界关注的一大问题。很多团队想开发“可解释的人工智能”，让AI解释自己的行为。但是，Google工程总监、AI经典教材《人工智能：一种现代的方法》的第二作者Peter Norvig说，这根本就行不通：

人类都不擅长不了自己，就别指望机器了。

DeepMind这篇论文，正是把研究人类心智这个大黑箱的方法，用到了深度神经网络上：通过测量神经网络的行为来推断内在的认知机制。

他们借用了一个用以说明人类认知过程的实验，来理解深度神经网络怎样解决图像分类任务。

形状偏好

DeepMind这篇论文，借用了发展心理学中研究儿童如何学习物体和词对应关系的方法，来分析深度神经网络。

认知心理学研究表明，人类儿童在将物体和词对应起来的过程中，存在三种偏好：

整体偏好：当你指着一个物体，说出一个词，孩子会假设这个词指的的整个物体，而非部件；

分类偏好：孩子会假设一个词指的是物体所属的基本类别；

形状偏好：孩子会假设一个名词的意思是基于物体的形状，而不是它的颜色或质地。

DeepMind借用的，是研究形状偏好的认知实验，因为认知心理学在这方面的研究最为丰富。

△ DeepMind测量深度神经网络的形状偏好所用的刺激物样本，由印第安纳大学认知发展实验室的Linda Smith提供

DeepMind所用的经典形状偏好实验过程如下：

1. 给深度神经网络看三个物体的图片：1）基本调查物体、2）形状匹配但颜色不匹配的物体、3）颜色匹配但形状不匹配的物体。

2. 比较神经网络在分配标签时，为物体1和2分配相同标签的次数，和为物体1和3分配相同标签的次数所占比例如何。

DeepMind的实验表明，深度神经网络和人类一样，具有“形状偏好”。

论文摘要

深度神经网络（DNN）在众多领域的复杂任务上都有着卓越的表现，它迅速地刷新着我们对于这些问题的认知。

过往的工作只着眼于推进我们对于这些模型的理解，但对于认知心理学家在这些问题上已有的描述、理论和实验方法，却没有加以充分利用。

为了发掘这些工具的潜在价值，我们选择了在发展心理学中一种用来“解释儿童如何学习物体和词对应关系”的固定分析方法，并将其应用到DNN上。

用和原有认知心理学实验类似的刺激物数据集进行测试，我们发现，那些在ImageNet上训练的、最好的单个样本学习(one shot learning)模型表现出了一种与在人类身上观察到的相似的偏好：它们更喜欢根据形状来对物体进行分类，而不是颜色。

在这种偏好的程度在架构相同但seed不同的模型上，会有非常大的差异，甚至会在训练过程中随着seed而波动，尽管它们最终在分类上的表现近乎相同。

这些结果证明了认知心理学工具在发掘DNN隐含计算属性上的能力，同时也为我们提供了一种用于人类字词学习的计算模型。