医用机器可用来玩读心术，能轻易破解你脑袋里想的图

　　在2003年秋天，旧金山艺术馆展出了我的艺术作品，一张我大脑的核磁共振图。作为一名概念艺术家，我的主要工作是提供想法，而不是直接作画，因此有些人会认为我创造的东西是虚的，是根本没有人经历过的东西。为了更清晰和直接地展示我内心的想法，我一直在和加利福尼亚大学旧金山分校进行合作。该大学的神经科学家Bruce Miller曾让我躺在医用仪器下，扫描并制作了我大脑的图像。

　　这项技术被称作功能性核磁共振成像(fMRI)，于上世纪九十年代创造出来用于非侵入性地检测病人的神经活动。大脑血流中血红蛋白上的铁元素会被强大的磁场跟踪。由于血液循环会在神经元放电后增加，因此医生通过观测血流就能知道我们的脑活动，或者知道我们思考的过程。当然，后面这点只是我的猜想。

　　不过，我在2003年测试了这一想法。当时我在旧金山主义画廊展示了我大脑fMRI的结果，只是大多数观众都是一脸迷惑地看着红色的血流重叠在我的灰质上，摇摇头，晃晃杯子中的葡萄酒就走过去了。

　　展览展出的16年后，Miller也有着同样的反应。我们一同坐在他位于大学的办公室中，他用手不断指着电脑屏幕上的图片，就是那张我在思考真理时的fMRI图。“这张图分辨率太低了，我认为从图里能判断出你在沉思，”他说，“但是这张图真的有点过时了。”

　　他说的没错。fMRI技术从2003年至今已经发展了很多年，就连医院里用的机器功能也比之前的强大了四倍。而就我这些年的经历来说，我始终坚信人类大脑的思想是可以被观察到的，并且这些观察图能够告诉我们思考是怎样运作的。现在，我想的是，fMRI发展得如此迅速，是不是能成为一种全新的观测工具，甚至用于我之前想过的艺术创造。为此，我拿着2003年的扫描图，开始和相关领域的科学家探讨可能性。

　　用图片展示想象力

　　“我能看见哪一块区域活动最强，”京都大学的神经科学家Yukiyasu Kamitani边看着我的扫描图边说，“但是我们不再看着图中的这些热点，”所谓的热点是指那些代表我血流的红点，“我们现在更加专注于脑活动的整体模式，这是不能用眼睛看出来的，”他表示。

　　Kamitani是世界上著名的视觉皮层研究专家，他开发出了一套方法，可以用于解码这些大脑扫描图，就像读心术一样。这项技术发表在了2017年的《自然-通讯》上，他可以根据志愿者在fMRI机器中观测到图片时的脑活动，重新在机器外部重建图片。更令人震惊的是，他甚至能够重建别人想象的图片。

　　为了实现这一目标，Kamitani使用了深度神经网络算法，该算法会在志愿者观看熟悉物体图片时分析他们的大脑活动，比如雨伞和飞机。而观看这些图片时由视觉皮层引起的大脑血流变化都会被记录下来，计算机能够根据血流样式生成不同的图片模式来对应飞机的特征，甚至是飞机在天空留下的机尾云。

　　当这些实验循环进行很多次，算法得到充分训练后，研究者开始尝试让AI模拟一些图片模式自己构建一些图像。结果，AI伪造的许多图像大多数都能被辨别出来。另外，那些让志愿者想象出来的图片也能被AI破解，尽管画面会有点模糊，但整体上还是比较智能，能看出来你在想什么图。

　　在这一系列的研究中，Kamitani 不仅让AI获得了构建图片的能力，他还发现我们处理图像的过程是一层一层叠加的。当你看向一样物体时，你首先接收的就是它的一些基本属性，比如颜色。但如果你不是直接用眼睛看物体，而是想象，那么图像的处理过程就不一样了。想象通常会从通用分类开始，比如这个物体是桌子，然后你再赋予它别的细节，比如桌子是用什么材料做成的。因此，Kamitani 的研究在展示想象图的同时，也探索了视觉是怎样运作的。

　　读出你的情绪

　　能向别人展示我在思考真理和美时的图像确实很神奇，但如果这些图片不能显示我对这些物体的情感，那总是不完整的。杜克大学的神经科学家Kevin LaBar告诉我，这也不是不能做到。

　　LaBar已经创建出可以利用fMRI数据分析出人类情绪的计算机模型。相关研究在2016年就发表在PLoS 子刊上。他的研究原理和Kamitani相同，也是利用AI来分析和学习大脑不同情感下的脑活动。

　　在实验中，他用音乐和电影来训练AI。“实验挑选的这些艺术品能够引起不同的情绪，”LaBar解释道。当志愿者处于机器中时会观看或者收听这些艺术作品，而AI也会根据大脑血流来给不同情绪进行分组。

　　现在，AI已经能够预测一些它从来没有遇到过的人类情绪，而不仅仅是了解看到实验中那些电影或者听到那些音乐时的情绪反应。举个最简单的例子，AI 能够分辨出志愿者第一次躺进fMRI机器时的害怕情绪。它甚至还能发现一些情绪紊乱，比如抑郁症。

　　在LaBar的观念中，fMRI甚至能当做交流工具，而不仅仅是给概念艺术家来画画。我们可以根据扫描结果来诊断一些患焦虑症的人，这些人往往不能表达自己的情感。而在一些场景中，它还能帮助患者进行愤怒情绪管理。

　　当然，LaBar也指出AI能展示出的图片是有限和片段化的。还有一些没有测试的情绪会掺杂在现实中。如果AI被分散中多个小片段，那么就很难知道一个模型是不是适用于所有场景。对于我想展示大脑中思想和美的愿望，LaBar给了我一个建议：你可以用上Jack Gallant全新的语义网络分析。

　　真理是什么颜色?

　　Gallant是加利福尼亚大学伯克利分校的神经科学家，他发表过几张大脑的图册。其中一项是2016发表在《自然》上的研究，展示了不同意义的词汇都储存在大脑皮层的什么位置。在这份语义地图中，包含了各种各样的单词，从身体部位到数字再到一些原理相关的词语。“我们的方法展示了fMRI可以提供的最精准的细节东西，”Gallant告诉我。这个图册展示了各种语义储存在大脑中的地方，比如“狗”这个单词引起的活动会出现前额叶、顶叶和颞叶皮质。

　　在志愿者躺在MRI机器中时，会倾听一些故事叙述。Galllant会记录1000个常用英语单词和哪些神经元放电有关，而与此同时，计算机也会生成相应的模型。他发现，每一个单词都会和多个脑区相关，他认为，这就意味着不同的脑区会处理一个单词不同方面的意思。

　　在他将“真理”和“美丽”输入到计算机模型中后，他告诉我，“美丽这个词所在脑区与视觉和感觉有关，而真理这个词和社交区域有关。”他随后向我展示了这张语义图，“真理”显示着红色，而“美丽”显示着蓝色。如果真是这样的话，那么这些词汇的不同样式就足够我用于艺术表达了。

　　或许我再进行一次fMRI扫描，就能够展示我大脑中的“真理”和“美丽”是什么样子的，而我对它们的感受又是怎样的，甚至是这两个词汇会对应着怎样的图像。虽然距离上一次展出已经过了16年，但我再也不怕不知道如何作画了。