发布时间：2019-07-03
十二岁的流浪汉Walter Pitts1,2,3 被一群黑帮匪徒追打，躲进了一个图书馆。打手们骂骂咧咧的找了一圈以后走了。Walter却没离开，他的注意力完全被一套三卷本的书吸引了：Alfred North Whitehead 与 Bertrand Russell 合著的 Principia Mathematica 。这是作者为纯数学提供逻辑基础的雄心勃勃的大部头著作，努力构建严谨的逻辑构架，把数学命题在自己的构架里一步步推导出来。独立学习了三年之后，15岁的Walter Pitts写信给Russell，向Russel指出在第一卷里的几个错误。Russel马上回信，邀请Pitts去英国学习。Walter没有去湿冷的英格兰，而去了芝加哥大学，没有固定生活来源的他流浪在芝加哥大学的讲堂和校园里（很多时间睡在露天的躺椅上）。在进芝加哥大学第一年的时候，芝大的数学教授Carnap出了一本关于逻辑学的新书，那是1938年。Carnap不是泛泛之辈，他关于逻辑悖论的论述是三十年代时最完备的。一天，15岁的Walter Pitts走进Carnap的办公室，手里拿着写着自己注释的Carnap的新书，向Carnap对书中的几个地方提出尖锐的评论。在开始的震惊之后，Carnap开始反驳，两人交流了一个小时左右。Walter把书留在Carnap那里，离开了办公室。由于Pitts没有介绍自己，于是后来的两个月里Carnap在芝大里满世界找“懂逻辑的报童”。
Walter Pitts的故事和其他天才的故事一样，让人难以想象，就像莫扎特，王维，冯纽曼，这些年纪轻轻就在自己的领域独步天下，又似乎全不费力、信手拈来。那么这些天才是否可以人造呢？这个问题在以前也许是很幼稚的，不过现在出现了AlphaGo这类人工智能算法，在棋盘上打败了几乎所有的顶级围棋职业高手，包括柯杰这样的天才，也许这个问题是可以被容许讨论的了。
1942年的时候18岁的Walter认识了University of Illinois 教授Warren McCulloch。Warren热情好客，当时Walter Pitts无家可归，于是Warren邀请他住在自己家里。在Walter住进Warren家的当夜，他们就开始合作神经系统如何进行逻辑计算的问题。大概300年前，莱不尼兹证明，任何问题，只要可以用有限数目的词、完整而没有歧义的表达出来，就可以用‘逻辑机’(logical machine)计算出来。六年之前， Alan Turning 发表了著名的关于universal computing engine的文章。Walter Pitts和Warren的问题是，如何把神经系统看成这样一个逻辑机器呢？考虑到当时对脑神经的粗浅而不确定的认识，Warren和Pitts对神经系统的简化是划时代的。他们把神经元的状态简化为0或1 的二进制表示，用一个连接强度的矩阵来标准神经元之间的相互影响关系，于是在给予一定输入的情况下，McCulloch-Pitts网络将根据这个连接矩阵的状态以及输入，而决定输出是什么。他们在1943年出版的"A Logical Calculus of the Ideas Immanent in Nervous Activity."是McCulloch 和Pitts最著名的工作。从控制论角度来讲， McCulloch-Pitts网络本身就是最早的有限自动机（finite automata）之一。这个工作还提供了神经生理问题的逻辑基础，可以说是最早的计算神经科学成果之一。而这篇文章对于人工智能领域来讲，则是开创性的，神经系统的复杂性被高度抽象，并用数学家和工程师容易理解的语言来描述。从此，人工智能开始以独立的领域而开始其蓬勃发展之势。
要描绘神经科学与人工智能领域相互借鉴、相互促进的完整画面，本文的篇幅是不够的。但是两个领域都意识到“学习”对于生物和电脑行为的重要性，神经科学发现神经元之间的联结“突触”，可以被神经元的活动所改变，这一点很可能是学习的物质基础；在人工智能领域，人工神经元之间的联结强度的改变，也是人工神经网络可以学习的基础。这一特性，被目前的“深度学习”推到了极致，可以说引起了一个深度学习革命，在网络搜索、网站过滤、广告推送、图像识别、语言翻译等大量应用都可以找到深度学习的实际应用。其中Geoffrey Hinton做出了突出的贡献。
Geoffrey Hinton4在英国出生，接受的是基督教学校的教育，虽然早早的就认为基督教神学是完全的废话5。1982年左右Hinton和Terry Sejnowski一起找到了漂亮的训练人工神经网络的方法，从而发明了玻尔兹曼机（Boltzmann machine），在人工智能和计算神经科学领域都有很重要的应用。他还和同行一起推动了BP算法，即反向传播算法（Back-propagation）的广泛应用；之后他一直致力于优化人工神经网络的学习。但是在九十年代到2006之间，人工神经网络慢慢的淡出了人工智能领域的前沿，也许是由于在实际应用中，人工神经网络计算结果容易进入局部极小值（Local minimum），找不到全局最小值（Global minimum），从而无法实现对实际问题的求解。但是有时候坚守会得到回报的，Hinton和Yann LeCun，另一位深度学习的奠基人，就是这句话的最好诠释。他们两个人都从神经系统的原理得到灵感：LeCun把脑的视觉系统的组织结构扩展到人工神经网络中，发明了卷积神经网络，实现了高效的手写字的识别；而Hinton则把脑皮层中分层的组织原则移植到人工神经网络中，在2006年发明了深度学习的训练方法。恰逢计算机能力在2006前后获得了急速提升，网络的大量普及使用提供了大规模的数据，使得深度学习得以发挥其多层网络的优势，在大数据的训练和冲击下，哪些局部极小值消失了，取而代之的是全局最小值。目前，深度学习在很多特定任务，例如人脸识别，图像中的物体识别，语音识别等应用中的正确率已经超过了人类。Hinton兼职进入Google，而谷歌也收购了“深脑”（DeepMind），这一由系统神经科学家创造的公司，结合深度学习与神经科学中的强化学习（Reinforcement learning）概念，领导的团队创造了AlphaGo，并在围棋上战胜李世石和其他顶级职业高手，也许这是深度学习革命的最好注解6。
开篇的天才故事让我们讲到结束吧。Pitts虽然做出了巨大的贡献，但他极度排斥社会的正式承认。在芝加哥大学旁听、而不注册学生、只是个开始。也许是在Norbert的安排下，MIT要给他一个学位，所有Pitts需要做的事就是签署一个文件、翻译一篇德文文章（他懂德文，所以那是小菜一碟）；而他断然拒绝。后来MIT想要给他一个正式的教职，这回只要Pitts签署一个文件，同样被Pitts回绝。Pitts刻意销毁自己工作的记录，逃避任何拍照的可能，没有日记以及信件流传。总之，对于不亲身识得他的人，Pitts是躲在雾里的一个谜，无法看清。
但是有趣的事，与Pitts认识的人都会觉着Pitts乐于交流，极好相处，谈吐不凡，知识渊博。往往你问他一个科学或者艺术的问题，他可以把这个问题的来龙去脉、前因后果、娓娓道来，讲上两三个小时，闻者不倦。Pitts让人联想起电影《海上钢琴师》中的音乐家，天才飘洒大海，却又仅局限于一叶扁舟。Pitts人如美玉，却选择只是泽被身边有限的好友。
Pitts在1969年逝世于MIT的寓所里。死的时候身旁没有一个人。如今，神经元的数学模型被称为McCulloch–Pitts 神经元。
Pitts的天才和遭遇也许正是目前人工智能还无法企及的能力。深度学习需要“监督学习”，也就是需要提前知道最终答案，从而训练人工神经网络。Pitts的创造性思维，在1942年的时候并没有最终答案，人工智能是否在未来可以创造出这一能力？Pitts的社会能力远远不如大多数社会人，那么人工智能在社会行为这一人类特别出色的能力上，能给我们什么样的惊喜？也许，还是要从神经科学中找到一些关键性的原理性灵感，从而拓展人工智能的能力，也让我们不断思考人类与计算机在智能上的边界。
参考文献：
1. Pitts留世的资料极少，请参见Jim Anderson与Lettvin 的访谈录： Talking nets， James Anderson and Edward Rosenfeld, 1998, MIT Press.
2. MIT CogNet百科全书中关于Pitts的条目 ：http://cognet.mit.edu/library/erefs/mitecs/lettvin1.html
3. Wikipedia关于Pitts的条目：http://en.wikipedia.org/wiki/Walter_Pitts
4. Hinton的访谈录：Talking nets， James Anderson and Edward Rosenfeld, 1998, MIT Press.
5. “I was convinced throughout my childhood that the whole Christian ideology at school was just complete rubbish. I’m still convinced of that.” Hinton的访谈录：Talking nets， James Anderson and Edward Rosenfeld, 1998, MIT Press.
6. 深度学习的介绍有很多，可以从Yann LeCun, Yoshua Bengio 和Geoffrey Hinton2015年在Nature上的“Deep learning”这一综述开始。
附件下载： 
