DeepMind新论文: 用认知心理学方法打开深度学习的黑箱

文 / ZD至顶网
2017-07-04 21:42

唐旭 李林 编译整理

最近,DeepMind在Arxiv上发布了Interpreting Deep Neural Networks using Cognitive Psychology,将认知心理学的方法引入深度神经网络的研究。

这是DeepMind入选今年ICML(机器学习国际会议)的论文之一。在公开论文的同时,他们还在官方博客上对这篇论文做了介绍。

为什么要用认知心理学方法来研究深度神经网络呢?

我们经常在新闻中看到,深度神经网络的能力不断提升,在图像识别、语音识别以及玩各种游戏的能力上,一一超越了人类。

不过,随之而来的也是越来越复杂的架构,和越来越看不懂的决策过程。

也就是所谓的“黑箱”问题。

黑箱

现在,每次提到深度学习,“黑箱”这个词似乎如影随形。DeepMind的论文中说,“这种不透明性不仅阻碍了尝试提升这些模型的基础性研究,也影响了它们在实际场景中的落地。”

怎么打开这个黑箱,成了研究界关注的一大问题。很多团队想开发“可解释的人工智能”,让AI解释自己的行为。但是,Google工程总监、AI经典教材《人工智能:一种现代的方法》的第二作者Peter Norvig说,这根本就行不通:

人类都不擅长不了自己,就别指望机器了。

DeepMind这篇论文,正是把研究人类心智这个大黑箱的方法,用到了深度神经网络上:通过测量神经网络的行为来推断内在的认知机制。

他们借用了一个用以说明人类认知过程的实验,来理解深度神经网络怎样解决图像分类任务。

形状偏好

DeepMind这篇论文,借用了发展心理学中研究儿童如何学习物体和词对应关系的方法,来分析深度神经网络。

认知心理学研究表明,人类儿童在将物体和词对应起来的过程中,存在三种偏好:

整体偏好:当你指着一个物体,说出一个词,孩子会假设这个词指的的整个物体,而非部件;

分类偏好:孩子会假设一个词指的是物体所属的基本类别;

形状偏好:孩子会假设一个名词的意思是基于物体的形状,而不是它的颜色或质地。

DeepMind借用的,是研究形状偏好的认知实验,因为认知心理学在这方面的研究最为丰富。

DeepMind测量深度神经网络的形状偏好所用的刺激物样本,由印第安纳大学认知发展实验室的Linda Smith提供

DeepMind所用的经典形状偏好实验过程如下:

1. 给深度神经网络看三个物体的图片:1)基本调查物体、2)形状匹配但颜色不匹配的物体、3)颜色匹配但形状不匹配的物体。

2. 比较神经网络在分配标签时,为物体1和2分配相同标签的次数,和为物体1和3分配相同标签的次数所占比例如何。

DeepMind的实验表明,深度神经网络和人类一样,具有“形状偏好”。

论文摘要

深度神经网络(DNN)在众多领域的复杂任务上都有着卓越的表现,它迅速地刷新着我们对于这些问题的认知。

过往的工作只着眼于推进我们对于这些模型的理解,但对于认知心理学家在这些问题上已有的描述、理论和实验方法,却没有加以充分利用。

为了发掘这些工具的潜在价值,我们选择了在发展心理学中一种用来“解释儿童如何学习物体和词对应关系”的固定分析方法,并将其应用到DNN上。

用和原有认知心理学实验类似的刺激物数据集进行测试,我们发现,那些在ImageNet上训练的、最好的单个样本学习(one shot learning)模型表现出了一种与在人类身上观察到的相似的偏好:它们更喜欢根据形状来对物体进行分类,而不是颜色。

在这种偏好的程度在架构相同但seed不同的模型上,会有非常大的差异,甚至会在训练过程中随着seed而波动,尽管它们最终在分类上的表现近乎相同。

这些结果证明了认知心理学工具在发掘DNN隐含计算属性上的能力,同时也为我们提供了一种用于人类字词学习的计算模型。