开云

在深度学习刚刚进入视线时（shí），大多数AI研究（jiū）人（rén）员嗤之以（yǐ）鼻，但短短几年后，它（tā）的触角已经横跨医疗、教育、汽车等众多领域。

AI 在深度（dù）学习的加持下，近几年在（zài）人脸识别、围（wéi）棋、Dota等任务上屡（lǚ）屡击（jī）败人（rén）类，这（zhè）种趋势似乎也在暗示：深度学习就（jiù）是打（dǎ）开（kāi）人工智能宝藏的钥匙。

但也有观点认为当前深度学习已经走到了死胡同，例如（rú）全球（qiú）人工（gōng）智能计算机（jī）视觉领域奠（diàn）基人之（zhī）一、约翰霍普（pǔ）金斯（sī）大学教授（shòu）艾伦·尤尔就（jiù）曾（céng）抛出（chū）“深（shēn）度学习在（zài）计算机（jī）视觉领（lǐng）域的瓶颈已至”的观点。

本文作者 Randy Laybourne 比较支持尤尔（ěr）教授观点（diǎn），并盘点（diǎn）了20条理由逐一（yī）论述（shù）深度学习的研究当前已经走到（dào）了死胡同（tóng）。

1、反向（xiàng）传播技术只适合狭义AI

反向传播是深度（dù）学习的基本技（jì）术，它能够让神（shén）经网络在（zài）训练过程（chéng）找到“最优解”。但（dàn）是如（rú）果让训练（liàn）好的神（shén）经网络执行另一项任务（wù）或者使用新数据时就会发生灾难（nán）性遗忘，从而（ér）无法完成（chéng）持续（xù）学习的目标（biāo）。

当（dāng）然，你可以减少之前学习任务以及调整网络结构来解决灾难性遗忘，但是如（rú）果有新数据涌入，则必须增加神经元（yuán）的（de）数量。

大脑与我们手工设计的神经（jīng）网（wǎng）络相（xiàng）比有着更（gèng）多的神经（jīng）元，所以你会认为增（zēng）加人工神经网络的神经元完全没有问（wèn）题对吧？

但是你也要明白，大脑具有功能（néng）模块（kuài）化的特点，它在执行任务（wù）的时候，每（měi）次只调用一小部（bù）分神经（jīng）元。而反向传播在迭代（dài）的时（shí）候调用的是全部的（de）神（shén）经元。

另外，大（dà）脑模（mó）块化的特点（diǎn）能让（ràng）我们人类学（xué）习到不同的（de）东西，而（ér）且（qiě）不同模（mó）块之间信息（xī）是可以相互交流的。

那么构造多个（gè）深度神经网络并让它们之间互相连接能够（gòu）解决问题么？

显（xiǎn）然高级智能的（de）功能（néng）远不止这些。

2、无监督学习

大脑在进行学习的时候，并（bìng）不需要大量的（de）示（shì）例，也不需要（yào）一个监督（dū）者在旁边“叮嘱”。大脑的（de）学习方（fāng）法更加复杂，例如，即使一（yī）些“数（shù）据（jù）”没有打标（biāo）签，大脑（nǎo）也能从其（qí）中学到一些东（dōng）西。

当（dāng）然，我们（men）也（yě）不是在模仿（fǎng）翅膀（bǎng）的动作来制（zhì）造飞行器，但是鸟类却证（zhèng）明了当克服重力时（shí），比空气重的（de）物体也能够飞（fēi）行，这意味（wèi）着（zhe）即使（shǐ）通用人工智能没（méi）有大脑一样的思考方式（shì），也能（néng）够通过无监督的学（xué）习方（fāng）式实现智能。

3、认（rèn）知图与（yǔ）路线

当前，深度学（xué）习想（xiǎng）要（yào）掌握更多（duō）的是（shì）一种认知路线，即从（cóng）输入数（shù）据到（dào）输出的认知途径，也（yě）就是说，深度学习是输入和输出之间关联记（jì）忆的一种形（xíng）式。

考虑下面一种认知（zhī）路线的情况：

“径直（zhí）穿过（guò）森林，看到一条河，然后（hòu）穿过小河，左转，在一棵奇怪的树附近停下来，然后能到山顶上（shàng）有三（sān）块大石（shí）头的山，最后（hòu）沿着路（lù）上去”

现在的问题是，如果（guǒ）有（yǒu）人砍掉了树或不（bú）知何故搬开了石头呢？

这就是深度学习（xí）的缺点：知识（shí）的应（yīng）用范围非常狭窄，只（zhī）适用于一项（xiàng）任务。解决方法是（shì）创建一个动态的地图，即找（zhǎo）到从不（bú）同起点到无限终点的多条路线。

这就是狭义AI和通用AI的区别，这（zhè）种区别也深深影响着（zhe）神经网络的结构。

4、预测过（guò）程

我们的大脑总是尝试主动预测接（jiē）下来几秒所（suǒ）发生的事情，并根据实（shí）际情况调（diào）整（zhěng）预测细（xì）节。这也是人类具有强烈（liè）好奇（qí）心的原因。

除此（cǐ）之前我（wǒ）们人类还（hái）有另一个驱动因素，即（jí）当我们有着（zhe）很好的基础时，我们总想要改善我们关于心理模型（xíng）的认知地图-。

人类在（zài）面临未知（zhī）的时候总是想要（yào）找到一个令人满意的解释，否则不会（huì）停下（xià）来（lái）。所以（yǐ）说这种预（yù）测过程可以节省我们的精力，也可以激励我们变得（dé）越来越好，能够扩大我（wǒ）们的知识面和技能，完善我们的知识和技能认知图（tú）。

这也就是说预测性处理是我（wǒ）们直觉的来源（yuán）。显然（rán），深（shēn）度学习缺乏（fá）这种预（yù）测。

5、高效利用资源

20条（tiáo）理由（yóu）告（gào）诉你（nǐ），为什么当（dāng）前的深度学习成了人工（gōng）智能的（de）死胡同？

谷歌的TPU

能源的（de）缺乏性没有人可以（yǐ）否认，我们大（dà）脑在（zài）处理问（wèn）题（tí）的（de）时候，也会对尽可能（néng）多的事情说“不”。具（jù）体而言，当大脑处（chù）理一个连续的数据流（liú）的（de）时候，会（huì）经过一层过滤（lǜ）装置，过（guò）滤掉无用信息，将重要的信息发送到大脑皮层。

当在无意（yì）识状态下处（chù）理事情的结果足够好的时（shí）候，大脑（nǎo）就不（bú）会切换这（zhè）种状态。当有（yǒu）重要（yào）任务要做的时候，大脑会关闭一些（xiē）默认状态下的大（dà）型网络神（shén）经（jīng）元，然后开启中央（yāng）执（zhí）行（háng）网络。

根（gēn）据研究，大（dà）脑大概有（yǒu）86~1000亿个神经元，大多数被密集的分布（bù）在小脑部分，主要（yào）负责人体的各项活动。前面也提（tí）到，大（dà）脑会有选择的关闭或开启某些神经元（yuán），而深度学习（xí）则在每一次（cì）迭代中都会利用所有的神经元，这也是为什（shí）么我们至今（jīn）没有设（shè）计（jì）出如（rú）此规模的神经（jīng）元的原（yuán）因。

另外，深度学（xué）习的能源效（xiào）率很低，以至（zhì）于在即使最强（qiáng）大的处理器加（jiā）持下，也无法与（yǔ）运行频率只有（yǒu）10–40Hz的大脑相提并论。

6、多感官数据表示

目前（qián），语音是人工智能最难啃的（de）硬骨头。虽（suī）然我们可以利用AI设计出色的文本（běn）生成系统，也能够为人类编撰（zhuàn）优秀的文本。但（dàn）这种文（wén）本（běn）生成系统背后存在“理解”么？还是（shì）说只是单词之间的统计（jì）关系。

在小孩（hái）子学习（xí）语言之前，其实就已经受到（dào）了许多感官刺（cì）激，小孩所接触的每种含义特征不是某些（xiē）数据集（jí）中的（de）相邻单词，而是丰富的体验集，包（bāo）括视觉，声音，气味，味道（dào），触（chù）觉，情感等等。

然后，在这些（xiē）特征的基（jī）础上，我们贴上正（zhèng）确的标签，教导（dǎo）孩子（zǐ）进餐，去（qù）洗手间或其他任何东西（xī）。

另外，即（jí）使（shǐ）我们不知道某些“东西（xī）”确切的名字，也可以（yǐ）根据（jù）未知对象的（de）属性与已知类的相似性对（duì）其进行分类。例如声音很容（róng）易（yì）引起情绪反应（yīng），气味会（huì）带回记忆。

显然，当前（qián）的深度（dù）学习的神经（jīng）网络只是具有强大的单（dān）独处理功能，无法匹配类似的连（lián）接。

7、经验丰富

如何向AI解释这个世界，仅（jǐn）仅让AI通过（guò）静（jìng）止图像或文本数据集了解所处的世界，不（bú）考虑上（shàng）下文、背（bèi）景啥的（de）么？

假（jiǎ）设不曾得知“引力（lì）”为（wéi）何物，那么我（wǒ）们该（gāi）如何教（jiāo）导AI？

如果我们想要具有类人能力的机器，我们必须认识到至（zhì）少我（wǒ）们（men）的（de）身体和大脑是生物机器。

人类的大脑将无色，无声和无味的原子（zǐ）渲（xuàn）染成（chéng）世界，并（bìng）“解释编码”传（chuán）入（rù）信号，同时创建一个可以让我们理（lǐ）解的现实模型。

只有这样我（wǒ）们才会（huì）知道在地球上扔东（dōng）西（xī）时，它就会（huì）掉落。但是数字地（dì）图上向下移动的点不受重力影响（xiǎng）。显然（rán）数（shù）字世界（jiè）和（hé）物理世界的规则非常（cháng）不同（tóng）。

深度学习能够教导AI理解（jiě）这一点么

8、连续立体声数（shù）据流

我们（men）的身（shēn）体大致具有对称性，我么（me）拥有（yǒu）双眼、双（shuāng）耳、双手（shǒu）、双腿，还（hái）有两个大脑半球。这帮助我（wǒ）们以（yǐ）一种（zhǒng）新的（de）方式感知世界并与之互动（dòng）。

立体视觉（jiào）可以帮助我（wǒ）们测量（liàng）视觉场景的深度，声音可（kě）以（yǐ）帮助（zhù）我们定位视（shì）觉的（de）来源，大脑的二元性可以帮助我们应对不同心（xīn）理能力......

同时，大（dà）脑的连续性功（gōng）能使我们确信，前一秒还是你的朋（péng）友的那（nà）个人仍然是原来的（de）那个人，你不需要通过视觉或（huò）声音属性再（zài）次（cì）确认（rèn）。

大脑会主动预测正（zhèng）在发（fā）生的事（shì）情，从而节省精力，增强（qiáng）信心，并实时学习。

深度学习在目前显然无法达到。

9、非随机（jī）初（chū）始化

20条理由告诉（sù）你（nǐ），为什么当前的深（shēn）度（dù）学习成了人工智能的死胡同？

人脑的（de）语义空间（jiān）

人（rén）工神经网络（luò）的初始化（huà）是（shì）随（suí）机的（de），我们使用基（jī）于梯度的方法来训练网络，并使其在所有值（zhí）都（dōu）相同（tóng）时（shí）对网络进（jìn）行分解。

可以对神经网络进行（háng）优化（huà），并强制（zhì）指定其初始化的方法。但要注意的是，这在有（yǒu）监（jiān）督的环境中是可以实现的，要想在现实（shí）世界中大（dà）规模部（bù）署自主AI，显然随（suí）机（jī）初始（shǐ）化可能是最好的（de）选（xuǎn）择。

在此类情（qíng）况下，不管时间和位置如何，我们（men）最好（hǎo）的想法是让AI以类似方式完成适应（yīng）过程。

10、将情绪状态作为一（yī）个通用评价（jià）系（xì）统

我们或（huò）许认为情绪是人类所（suǒ）独有的，甚至不（bú）及硬逻（luó）辑。

但是它作为人体中的一个通用评价系统，我们能够很快地（dì）通（tōng）过情绪快速评（píng）估自（zì）身的（de）状（zhuàng）态（tài）：是充满（mǎn）活力还是欢欣鼓（gǔ）舞，亦或是无比（bǐ）沮丧（sàng）的低沉状态。

无（wú）论我（wǒ）们何时要做决定，都（dōu）要基于我们自身的感受。即便（biàn）我（wǒ）们要（yào）考虑斟酌很久来评（píng）估不同的选择，然而最（zuì）后（hòu），我（wǒ）们还（hái）是会选（xuǎn）择我们“感觉起来”最好（hǎo）的（de）那（nà）个。

我（wǒ）们已（yǐ）经尝试用强化学习来模拟人类的情（qíng）绪，然而仅（jǐn）仅也才走出（chū）了一小步。

情（qíng）绪能够被量化（huà），这是因（yīn）为他们都（dōu）是（shì）由不同层面的神经（jīng）化学物质所组成的（de），例如血（xuè）清（qīng）素（sù）、多巴胺、肾上腺素等等（děng）。

我们做（zuò）出想要战斗或航行的反应，是因为多（duō）巴胺（àn）很高，它能够刺激（jī）我们（men）快速执行一系列动（dòng）作。而（ér）当去甲（jiǎ）肾上腺素低时（shí），我们会感受到害怕的情绪从而试图逃（táo）跑；当去甲肾上腺素高时，我们会（huì）找到勇（yǒng）气去战斗，或者在极端高时，我们会（huì）感受到愤（fèn）怒或强烈的疯狂（kuáng）的情绪。

11、数字化神（shén）经调质（zhì）

数字（zì）化神经调质（zhì）可以（yǐ）让自主（zhǔ）的 AI 以（yǐ）跟神经（jīng）调质（zhì）同样的方式，打（dǎ）开和关闭大规模的神经子网络。

在人脑中，高水平的（de）神经调质乙酰（xiān）胆碱会增加与记忆、内（nèi）部定向认知、思考和推（tuī）理相关（guān）的神经元（yuán）活动。

而多巴胺（àn）则会增加外部认知的重（chóng）要性，并（bìng）更快地选择足够好的（de）动（dòng）作。

食欲素调节能（néng）量，当我们处于清晰状（zhuàng）态时（shí），会增加；当我们入（rù）睡或产（chǎn）生免疫反应时，则（zé）会（huì）降（jiàng）低。在自主机器人等设备一直（zhí）无法连接到电源时，数字化（huà）食欲（yù）素有助于实现最佳的（de）能量消耗。

人体使用化学物质自（zì）动进行自（zì）我调节，我认为在（zài）这（zhè）方（fāng）面，人工智能也（yě）存在巨大的可（kě）能性（xìng）。

12、人（rén）工直觉

深度学习自身其（qí）实仅是处理（lǐ）数据（jù）的（de）一种方法，从输（shū）入到输出的一种非常被动的方法。而人类也（yě）赋予深度学习（xí）一种非常强大的能力，那就是直（zhí）觉。

在（zài）深度学（xué）习中（zhōng）当所有条件都（dōu）匹配时，网（wǎng）络中（zhōng）神经单元会被预（yù）先激（jī）活，但是（shì）最终是否会对现实（shí）造成一些影（yǐng）响，我们（men）尚未可知，我们只（zhī）是感觉到，将会产生一（yī）些（xiē）影响。

人类的（de）意识中也尽是与此相同的机制：脑海中蹦出来的想（xiǎng）法不知从何而来，但是大（dà）脑会认（rèn）为这些想（xiǎng）法将（jiāng）来是（shì）有用的。

直觉能够帮助我们未雨绸缪，也（yě）能够让数据处理变得更加（jiā）简单。例如在（zài）深度学习中，如果上下文都（dōu）是正确的，则可以（yǐ）降低针对目（mù）标或声音识别的阈值，来简化处理流程。

有时直（zhí）觉也（yě）可能让我们犯错，例如（rú）我（wǒ）们可能会错认朋友，或者听到别人实际上并没有说过的话。

但是大多数时候，我们利（lì）用直觉节省了大量的能（néng）源，甚至（zhì）由于直觉发出了对（duì）潜在危险（xiǎn）的预警而挽救了（le）数不尽数（shù）的生命。

13、隐藏的大脑：神经胶质细胞（bāo）

多年来，神经胶质细胞（bāo）一直（zhí）仅仅被视（shì）作大脑（nǎo）的填充（chōng）物（wù），然而它实（shí）际上对大脑的运行有很大的影响作用。人类拥有的（de）神经胶（jiāo）质（zhì）细胞比神经元还多（duō），它们支持（chí）神经（jīng）元部分、提（tí）供营养并（bìng）通过触发免（miǎn）疫反（fǎn）应来处理如有毒的（de）代谢衍生物等垃（lā）圾和外部危险。

然而（ér）当（dāng）前的人（rén）工神经网络完全不把神经胶质细（xì）胞（bāo）当回事。但（dàn）是（shì），它们可（kě）是实（shí）实在在控制着神经元的啊。

它（tā）们除了对神（shén）经元起（qǐ）到维持作用（yòng）外（wài），还（hái）影响（xiǎng）着神经元的尖峰，如果应用（yòng）到深度学习中，有可能还（hái）能够计算数据预（yù）测的误差。

星型胶质细（xì）胞不受短时期内（nèi）的电刺激，而是受长时期的化学（xué）刺激。它们可以在（zài）全局范围内彼此进行交互，并不仅（jǐn）仅为需要更多资源的地（dì）方提供资源（yuán），还能改进整个系（xì）统的运行。

14、皮层（céng）下成分

目前（qián）的人工神经网络不仅忽略了星型胶质细胞，而（ér）且忽（hū）略了皮层下成（chéng）分。

在处理（lǐ）数（shù）据时，人（rén）脑除了（le）新皮层，还（hái）有（yǒu）大量其他的模块来对其（qí）进行支持（chí），如丘脑（nǎo）、海马体、纹状体以及杏仁核等等（děng）。

它（tā）们都在大（dà）脑中扮（bàn）演中非（fēi）常重要的角色。

没有海马体和内嗅（xiù）皮质，我们就无法记忆，也（yě）很难在物理（lǐ）空间进行定位。丘脑（nǎo）过滤（lǜ）数（shù）据，并（bìng）将数据（jù）传输到大脑的正确部位。纹状体和（hé）杏仁核则能够调节对输入数据做出的反应。

屏状体也是大脑中一个（gè）非常有意思的部（bù）分（fèn）。科学家们发现，当受到电刺激时，它会（huì）充当意识（shí）的（de）“开关”。

15、因果推理

人（rén）类拥有的强（qiáng）大（dà）能力之一，便是因果（guǒ）推理。

我们可以通过做（zuò）心理模拟——想象或回（huí）想整个过程的步骤（zhòu），在大脑中找到导致某（mǒu）个结果可能存在（zài）的（de）原因。

而关联性并不就是指（zhǐ）因果关系，正如一句名言所说的：仅仅使用（yòng）统计学是（shì）远不够的，我们（men）还需要用（yòng）到关系、丰富的语境（jìng）信息和多感官体验。

16、心理模拟器

如文章开头（tóu）所提到的，人脑（nǎo）实际上（shàng）是从（cóng）无色、无味、无声音的原子来（lái）呈（chéng）现现实世界（jiè）的（de）。

这是（shì）因为（wéi）它如此擅（shàn）长这种呈（chéng）现方式，并且（qiě）还能（néng）够模拟未曾发生（shēng）过的（de）事情。而这（zhè）也是我们的（de）想象力之所以存在，并且（qiě）还会做梦的（de）原因。

它让我们在现（xiàn）实世界中不受（shòu）任何损失地体验和（hé）学（xué）习。这种心理模（mó）拟器也（yě）是意识型体验的基础。

人类创造了很多（duō）抽象的事物，这些都仅（jǐn）存在于我们（men）的脑海中。我们在真正动手发明某些东西前，会先在脑海中进行想象。这也是人类进化（huà）拥（yōng）有比其他生物更好的优势的（de）源泉所在

在未来的通用人工智（zhì）能框架中，我们需要用到心理模拟器！

17、增量学习

增量学习的方法，与（yǔ）用固定的数据集（jí）来训练神经网络的方法完全（quán）相反。

这种方法可以（yǐ）让机器一直学习到新的东西（xī），并且不断更新现有（yǒu）的知识来进（jìn）行自（zì）我提高。

当然，我（wǒ）们（men）可以总是用新的数据来重（chóng）新训（xùn）练模型，但是这种做法会让资（zī）源利（lì）用效率低（dī）下，而采（cǎi）用更大的神（shén）经架构来训练模型，则一直以来都（dōu）存在问题。

直观上，虽然增量学习会导致所谓的过（guò）拟合，但是（shì）现在（zài）已经有很多技（jì）术（shù）能够解（jiě）决这一问题。并且（qiě），将足（zú）够多的（de）数据增量（liàng）添加到记忆（yì）中的增量学习方法，要更简单得多。

人类并非（fēi）天地万物的主（zhǔ）宰，我们擅长处理自身已有足够（gòu）多经验的事情，并且还可以（yǐ）随时（shí）更新心理模型来选（xuǎn）择更好（hǎo）的（de）解决方案。

18、终极算法（fǎ）

我（wǒ）认为（wéi），我们能够找到（dào）最（zuì）终（zhōng）算法，开启推（tuī）动人工智能（néng）发展（zhǎn）的钥匙。

到那时，数（shù）据处理将会变得（dé）不同，所谓的超参数在不同情况下也会各不相同，然而，整个人工皮层中的算法（fǎ）可能却是一样的，它们决定哪些是高度相关、哪些的相关性较低，哪些需要（yào）记住（zhù）、哪些舍（shě）弃。以及，哪些要被（bèi）记成反面案例（lì）。

19、硬（yìng）件：专用处理单元

一（yī）般用途的处理（lǐ）单元如CPU，不如专用处理（lǐ）单元的效率高。为了（le）达到（dào）复（fù）杂的认知结（jié）构所需要的效率，处理单元需要足够（gòu）的（de）并（bìng）行性。

由于（yú）抽象（xiàng）层（céng）诸多，当（dāng）计算机运（yùn）行某些任（rèn）务时，比如（rú）图形用（yòng）户界面（miàn）、框架和开发（fā）库（kù）、操作系统以及给机器代码编（biān）程语言等，处理单（dān）元会在这（zhè）些抽（chōu）象层之间转换。并且（qiě），这样（yàng）做非常（cháng）费时间。

让它乘以（yǐ）每（měi）秒数十亿次运（yùn）行（háng），你就能够对处理单元的运行情况有一个较为全（quán）面的了（le）解。

编（biān）程语（yǔ）言有助于原型（xíng）设计和实验，能够（gòu）让解决方法适应我们（men）的需求（qiú）。但是编程语言的重要部分需要在处（chù）理（lǐ）单元执（zhí）行（háng），就像每个（gè）CPU内部（bù）都有算术（shù）逻辑单元（yuán）一样。

我们需要在硬件中实现关键的算法，现在（zài）许多公司都已经开始在尝试实现这一点（diǎn），但（dàn）是他们尝试的方（fāng）向是否正确呢？

20、自组（zǔ）装还（hái）是人为构建？

大（dà）脑复杂非常，人类至今也尚未能完全理解人脑。不仅如此，现在关于大脑架构的（de）很（hěn）多研究结（jié）果（guǒ）还（hái）存在矛盾。我们不能仅仅依靠神（shén）经（jīng）科学来开发通用人工智能。

但是我们可以理解大脑的高级功能，例（lì）如这些功能能做什么（me）以及或多或（huò）少能怎么做。

由于大脑就是（shì）一个自组装（zhuāng）的处理单（dān）元，根（gēn）据（jù）自（zì）身的生理和心理需求和局限（xiàn）性来做（zuò）各（gè）种事情。许多观（guān）察（chá）到的行为或属（shǔ）性都与该结构运行和（hé）生存（cún）所（suǒ）需的实际情况，息息（xī）相关（guān），而（ér）不是因为（wéi）它需要实现更高水平的智能。

让神经科学、计算机科学和数学之间达成正确的（de）平衡，有助于我们（men）最终开发出拥有与人类一（yī）样的（de）能力的机器。