AI 历史里经常被略去的一行
深度学习的故事通常这样开头。计算机变快了，数据变多了，神经网络于是复活。
这话不算错。只是整个前半段被完整地漏掉了。神经网络为什么偏偏是那个形状，为什么要用学习这个词，为什么不把一个正确答案存在某处而是一点点修改无数连接的强度。这些设计意图都不是从计算机那边来的。
我们今天使用的模型骨架，起点是1949年的一句话，成形于1986年的一个研究项目。领导那个项目的两个人所属的系不是计算机系，而是心理学系。
1949年，一位心理学家写下的一句话
唐纳德·赫布是加拿大麦吉尔大学的心理学家。他在1949年出版的《行为的组织》中提出的想法可以这样概括。两个神经细胞反复一起活动，它们之间的连接就会变强。
作为一句话看似平淡，但它彻底更换了记忆存在何处这个问题的答案。在此之前，记忆更像是放在某处的物件。有一个抽屉，里面装着内容，需要时取出来。赫布的提议正相反。记忆不是位置而是强度。它不在某个抽屉里，而是分布在细胞与细胞之间连接的强弱之中。
赫布还往前走了一步。经常一起放电的细胞会彼此紧密结合，表现得像一个整体，他称之为细胞集群。一个概念对应的不是一个细胞，而是许多细胞同时点亮的模式。
今天神经网络所做的学习正是这两件事。一点点修改数字化的连接强度，以及把一个概念表示为多个神经元的激活模式而非单个神经元。半个多世纪过去，这个骨架依然如故。
最著名的那句引文不是赫布说的
赫布的理论通常被引用为这几个词。一起放电的细胞会连在一起。
但这句话不是赫布写的。神经科学家卡拉·沙茨在1992年《科学美国人》的文章中概括赫布原理时创造了这个说法，她本人也这样说明过。赫布的原文要长得多也谨慎得多：当细胞A的轴突足够接近以激发细胞B，并反复参与其放电时，两个细胞之一或两者都会发生某种生长过程或代谢变化，使A的效率提高。
特意指出这一点是有理由的。这个系列的目的，是只保留心理学与AI之间真实存在的连线，把其余的清除掉。理论确实是赫布的，那个理论确实成了神经网络的学习规则。只是那句著名的短语是43年后由另一个人加上的概括。引用时应当把出处换过来。
1958年，那个想法变成了真正的机器
1958年弗兰克·罗森布拉特造出了感知机，这是把赫布的想法搬进电路的第一台机器。
以今天的感觉很难想象。安装在康奈尔航空实验室的马克一号感知机不是软件，而是塞满一个房间的硬件。二十乘二十排列的四百个光电池充当眼睛，连接强度不是数字而是可变电阻旋钮的位置。所谓学习，就是电动机真的去转动那些旋钮。
当时的报道非常热烈。《纽约时报》称这台机器是一台计算机的胚胎，预期它将能行走、说话、观看、书写、自我复制并意识到自身的存在。实际演示是简单的图形分类，期待却是人类水平。
这个落差后来代价不菲。真实性能与期待之间的距离，在技术极限暴露的那一刻，就恰好等于失望的大小。
一层解不了的一个很简单的问题
1969年马文·明斯基和西摩·佩珀特出版了《感知机》。书中指出的是，单层感知机解不了一个看起来极其简单的问题。
这个问题可以用楼梯灯来说明。楼上楼下各有一个开关，灯只有一盏。按哪一个开关灯都会亮或灭。两个都朝上是灭，两个都朝下也是灭，只有一个朝上才亮。两个输入中恰好一个为真时才为真的这个条件，叫作异或。
把四种情况画成纸上的点，问题就显现了。两个亮的点和两个灭的点呈对角错开，一条直线无法把两组分开。而单层感知机能画出的边界恰好只有一条直线。
这不是调参能解决的那类问题。给更多数据或者训练更久都没用，是结构做不到。堆叠多层可以形成曲线边界，这一点当时就知道。问题出在别处。
多层要怎么训练
单层容易训练。答错了，看输入和标准答案，直接修改那一层的连接强度就行。谁犯的错很清楚。
变成三层情况就不同了。最终答案错了的时候，无从得知第一层的哪个连接错了多少。中间层甚至没有既定的正确答案。这被称为功劳分配问题：根据一个最终结果，把责任分给众多参与的部件。
反向传播解决的正是这个问题。做法是这样。先在最末端测量标准答案与实际答案之间的误差。然后对最后一层的每个连接计算，把这个连接稍微调大，误差是增加还是减少。把这个信息往下传一层，求出下层连接的责任份额，再往下传。误差朝输入方向倒着流动，所以叫反向传播。
每个连接只按自己的份额动一点点。不一次性大改的原因是，刚看到的这一个样例并不代表全体。把这种小修正重复几百万次，整体就会慢慢朝正确答案安顿下来。
反向传播不是1986年发明的。同样的计算，保罗·韦伯斯在1974年哈佛的博士论文中已经提出过。只是当时并未广为人知。
1986年的PDP，而它是一个心理学项目
真正打开那把锁的是1986年的PDP。这是一部名为《并行分布式处理》的两卷本著作，也是众多研究者共同参与的项目名称。在这里，多层神经网络确实可以用反向传播训练这一点得到了有说服力的呈现，同年发表在《自然》上的论文把这一结果带给了整个学界。
这一期的要点就在这里。领导PDP的两个人是心理学家。
戴维·鲁梅尔哈特当时是加州大学圣迭戈分校心理学系教授，后来转到斯坦福。詹姆斯·麦克莱兰当时是卡内基梅隆大学心理学系教授，1984年从加州大学圣迭戈分校转去，前往斯坦福是2006年的事。
这不是偶然的所属，证据就在成果本身。两卷本的第二卷副标题就是心理学与生物学模型。而且两人凭这项工作在2002年获得了格文美尔心理学奖。不是计算机科学奖，是心理学奖。
也就是说，今天深度学习核心学习方法落地的地方，不是计算机实验室，而是一个试图解释人类心智的心理学项目。
他们真正想解决的问题
PDP 抓住不放的问题不是如何让机器变聪明，而是人为什么没有学过规则却能按规则说话。
最著名的例子是英语过去式。孩子最初是把不规则动词整个背下来正确使用，说 went。然后到某个时点反而开始出错，把规则词尾套到不规则动词上，说出 goed 这样的形式。之后又回到正确。好、坏、再好，是一条U形曲线。
这为什么有意思。孩子要说出 goed，就得在某处听到过，可大人不那么说话。也就是说孩子自己造出了从未听过的形式。看起来像是学会了规则，可没有人教过他规则。
鲁梅尔哈特和麦克莱兰试图用一个完全不含规则的神经网络重现这条曲线。如果一个只修改连接强度的模型能表现出与孩子相似的出错模式，那就意味着人脑里也可能没有规则表。
这个模型引发了激烈争论。史蒂芬·平克和艾伦·普林斯在1988年提出反驳，指出U形曲线的来源不是学习本身，而是中途急剧更换训练数据的设计。这一批评被广泛接受，争论持续了数十年。
但请看这场争论的性质。它是在心理学期刊上围绕儿童语言习得展开的争论。这个模型究竟是为什么而造的，争论本身就已说明。
只讲一个术语：联结主义
联结主义是这样一种观点：知识不是以规则或条目的形式存在，而是分散在无数连接的强度之中。
对面是符号主义，也就是把知识用符号和规则明确写下来的路线。猫是哺乳动物，哺乳动物是动物，所以猫是动物。人能读懂，也清楚该改哪里。
联结主义选择了相反的路。今天的模型里没有任何一处写着猫有四条腿。那个信息分散在数亿个连接强度之中，打开其中任何一个连接，里面都没有意义。这被称为分布式表征。
这个选择是有代价的。因为一件事是分散的，所以对相似情况的泛化很强，但精确取出某一个特定事实却很弱。也无法找到想改的那一点去修改。这两个性质，正是我们今天遇到的大多数问题的起点。
那么明天该改变什么
把AI当作连接的集合体，而不是搜索框。同一个问题每次得到不同答案不是故障，而是这个结构的性质。任何地方都没有存着原件，所以每次都重新组装。
所以重要的答案要问两次。开一个新窗口，把措辞稍作改动再问一遍同一件事。两次问下来结论一致，说明那个答案牢牢嵌在连接强度里；结论分岔，说明模型对那部分并不清楚。这是不借助额外工具就能用的最廉价的可信度测量。
需要精确的事实不要交给连接。日期、数值、引文、人名，应当把原文附上让它在其中查找。分布式存储擅长泛化，不擅长精确的某一件。这不是换个更好的模型就能解决的问题，而是从结构里长出来的性质。
反过来，需要泛化的事就放手交出去。把这些句子的语气统一一下，把这张表总结一下，看看这段代码哪里不对劲，这类请求要的是模式而不是精确的一件事，正是分布式表征最擅长的一侧。
概括起来就是：事实由你提供，判断交给它。这一条原则，是后续大多数篇章的背景。