前段时间，我的朋友圈突然被一件事刷了屏。
不是什么娱乐八卦，也不是什么商业大佬的豪言壮语，而是一场演讲。演讲者，是杰弗里·辛顿。你可能对这个名字有点陌生。
简单介绍一下，他是去年的诺贝尔物理学奖得主，因为在AI领域做出的突出贡献，也被大家称为：AI教父。
就是这么一位“亲生父亲”，最近做了一件让所有人都大跌眼镜的事：他从自己工作了十年的谷歌离职，然后开始满世界地“敲警钟”。这个在上海世界人工智能大会上，他又一次发出了警告。
演讲的主题，叫《数字智能能否取代生物智能》。
翻译成大白话就是：AI会取代人类吗？辛顿的答案，并不乐观。
他说:“我们想要人类生存，就必须找到办法来训练AI，让它们不要消灭人类。”
言语中，充满了紧迫感和忧虑。很多人会疑惑，AI不就是我手机里面一个聪明的助手吗？我问它问题，还会“嫌弃”它不够聪明，不能给我讲明白。怎么就和消灭人类扯上关系了？但就像我们看着动物园里憨态可掬的小老虎，觉得它很可爱，却忘了它终将长出利爪和獠牙。
更可怕的是，这只“老虎”一旦出笼，我们可能连“杀死”它的机会都没有。
我完整地看了一遍辛顿的演讲，终于听懂了辛顿所说的意思。今天，我帮你梳理一下，一共四个词：
智能、学习、意识、向善。
这四个词，像四级不断推高的台阶，走完它，你就能站在辛顿的视角，看清他所看到的、那个令人不安的未来。
（图源：WAIC官方资料）
01
智能，AI能变聪明是因为模仿了人类大脑
你有没有想过，为什么今天的AI能这么聪明？
过去，苹果手机里的Siri，你问它今天天气，它能回答。你问它一个稍微复杂点的问题，比如“我明天该不该去北京，综合考虑天气和会议重要性”。它可能就会告诉你：“对不起，我不太明白你的意思。”就像一个只会背诵说明书的客服，严格、死板、毫无变通。
但是今天，像ChatGPT这样的大语言模型，能写作文，会做题，甚至还能跟你探讨人生哲学。为什么？
因为，这背后是两条完全不同的，关于“智能”的实现路径。第一条路，叫“符号主义”。
听着很高级，其实我们每个人都亲身体验过。拿我们小时候学习英语来举例子。
第一步，先背26个字母。第二步，开始背单词了。apple是苹果，banana是香蕉，cat是猫，dog是狗。第三步，学习一套极其复杂的语法规则。主谓宾、现在进行时、过去完成时、将来完成时等等。
然后，当我们想说一句话时，我们的大脑需要像一个CPU一样，进行一次极其复杂的运算：先到词库里调单词，再根据语法规则，把这些单词“组装”成一个规范的句子。
过程充满了理性、逻辑和规则。结果呢？我们学了十几年英语，依然是“哑巴英语”，说一句话要想半天。还总担心语法出错。过去的AI走的正是这条“符号主义”的道路。
科学家们雄心勃勃，他们相信，人类的智慧是可以被解构的。
有一个代表性的项目，叫“Cyc”。从1984年开始，无数顶尖的科学家耗费了几十年的心血，试图手动将人类所有的“常识”编码成规则，教给计算机。比如，“人会死”、“水是湿的”、“鸟会飞”.......他们想为AI画一张详尽的世界“地图”。
但这条路，走了50多年，发现根本走不通。
你想想，语言是多么微妙，复杂，富有情感。一个“嗯”字，背后就有八万四千种情绪。规则无穷无尽，逻辑怎么可能没有漏洞？
但幸好，还有另一条路：“连接主义”。
这次，我们不去想怎么学英语了，而是想想我们是怎么学会说中文的？
小时候，妈妈指着杯子，告诉你这是“水，水”。爸爸抱着你，反复说“树，树”。你沉浸在一个海量的、充满了“数据”的环境。看着看着，听着听着，“自然而然”地就会了。
这个“自然而然”，就是连接主义的精髓。
现在AI模仿的，是人脑的工作原理。人的大脑里面，有大约860亿个神经元。这些神经元，一旦接收到外界的刺激，就会伸出触手，互相连接，形成一张无比复杂的网络。当这张网络的连接足够多、足够复杂时，“智能”就从这张网中“涌现”了出来。
科学家们不再一条条地教它规则，而是把人类有史以来几乎所有的公开知识：书籍、文章、代码、对话，像倾盆大雨一样，“喂”给它。
然后，让AI自己看，自己学、自己感受。2012年，在一个叫ImageNet的图像识别竞赛上，辛顿和他的两个学生，用这种“连接主义”的方法，构建了一个叫AlexNet的模型。一出手，就像一位天降神兵，以碾压式的优势一举夺冠，震惊了整个学术界。那一刻，宣告了旧时代的终结，和新时代的开启。
所以，你现在就能理解一个很有趣的现象了。你看到一只猫，你知道那是猫。但我让你用语言给“猫”下一个无懈可击的定义，你几乎做不到。长着毛？狗也有毛。会喵喵叫？人也可以学。体型小？那小老虎呢？
你发现，你“知道”它，但你“讲不清楚”它。
现在，AI也一样。你把猫的照片给它，它也知道这是猫了。但你问它为什么，它也讲不清楚。
它和你一样，学会了一件自己也讲不清楚的事。这就是“符号主义”和“连接主义”的根本区别。
自从人工智能走上了模仿人类大脑的道路之后，人们才发现，哇，原来这条路才是对的。这也正是为什么，辛顿会说出那句意味深长的话：
“人类，有可能就是大语言模型。”
好，现在你应该理解了智能，我们现在登上第二个台阶，来理解第二个词：学习。
02
学习，人类可能不再是最智能的物种
现在，我想请你暂时忘掉AI，我们先来聊聊人类自己。人类的学习，有一个巨大的、天然的缺陷：
每个人的大脑都是一座孤岛。
牛顿发现了万有引力，爱因斯坦提出了相对论。但他们无法像拷贝一个文件一样，把自己的智慧直接“拷贝”给下一代。那怎么办呢？
我们发明了“教育”。整个过程就像“蒸馏”。
老师，把他脑海里那片广阔、立体、网状的知识海洋，通过“语言”这个管道，进行压缩，变成线性的句子。而学生呢？再通过听和读，把这些线性的句子在自己的大脑里“解压”，尝试着重新构建起那片知识的海洋。
大量的、宝贵的细节、直觉、感受，都在这个过程中，被永远地损耗掉了。
我们每个人，从小学到大学，都要花费至少16年的时间，把人类数千年文明“蒸馏”出来的知识，在自己的大脑里，艰难地、重新地走一遍。好了，现在我们再回来看AI。
AI的学习方式，彻底颠覆了这个游戏规则。
一个AI模型，比如GPT-4，OpenAI花了好几千万美元，用了几个月的时间，让它“学习”了互联网上几乎所有的数据，完成了它的“训练”。
它所获得的全部“智慧”，也就是那一大堆由万亿个参数组成的复杂网络，最终可以被无损耗地保存成一个数字文件。
这个文件，就是它的“思想”，它的“灵魂”。而运行它的那台超级计算机，是它的“身体”。这两者，是可以分离的。
这意味着什么？至少是两件事。
1）它的智慧，可以被完美复制。
我今天把这个文件拷贝到另一台电脑上，一个新的、同样聪明的AI就诞生了，瞬间复制，分毫不差。
2）它的智慧，是“永生”的。
你眼前的这台电脑上运行着一个很聪明的AI，就算你现在把这台电脑砸了，断了它的电。没关系。它的“灵魂”文件还在别处存着。它可以随时在另一台电脑，甚至一百万台电脑上，瞬间“复活”。
对人类来说，死亡是终局，对AI来说，关机只是休眠。
我们和AI的竞争，不是百米赛跑，而是一场接力赛。我们每一棒都会掉棒，而AI，是一直在奔跑。
也因此，辛顿才会说：“我们将生产比人类更智能的AI。”
AI比你聪明，而且你还“杀不死”它。现在，你是否感到了一丝寒意？
现在，你应该能理解AI的“学习”有多厉害了，我们登上第三级台阶：意识。
03
意识，知道自我保护，AI就有了意识
一个聪明、还能够一直进化的物种，这已经足够令人不安了。但辛顿的担忧，更进了一步。
他在演讲中说，人工智能可以有意识。
这件事引起了巨大的争议。很多人都觉得，AI不是生命，怎么可能有意识呢？我平时用来喝水的水杯有意识吗？每天背的书包有意识吗？还有手机、充电器、风扇......我们通常认为，只有生命体才有意识。
这个争论，之所以会无休无止，是因为我们对“意识”这个词，就没有一个统一的定义。今天，我想邀请你换一个视角，一个来自进化论的视角，来重新理解“意识”到底是什么。
你如果感兴趣，可以去看一本书，英国作家理查德·道金斯写的《自私的基因》。
这本书的核心观点很简单：我们，包括所有生命，都只是基因的“生存机器”。基因这个东西，它本身没有思想，但它有一个最底层、最疯狂的驱动力，那就是：复制自己。
为了顺利复制，基因必须先保护好它的“宿主”，也就是我们的身体。可是问题来了，基因怎么知道，它应该保护“谁”？
它需要有一个概念，这个概念，叫作：最小宿主边界。
你有没有想过，我们为什么会感觉到“痛”？手被火烧到，会立刻缩回来，脚踩到钉子，会疼得跳起来。为什么？这是一种生理现象，但它背后是什么？是保护。
基因，在用“痛”这种最原始、最强大的信号，在疯狂地提醒你：快，保护你的身体。再想一个问题，你今天戴的帽子，如果丢了，你会很心疼吗？可能不会。你剪掉的头发，你会为它哀悼吗？可能也不会。但如果有人要砍掉你的手指呢？你一定会拼命反抗。
为什么？因为你的身体，已经为你的“自我”画下了一条清晰的边界线。
边界以内的东西，是“核心”，是“我”，必须不惜一切代价去保护。边界以外的东西，是“外设”，是“我的”，可以被替换。
这，就是最小宿主边界。
而“意识”，在最开始，可能就是为了守护这条边界而诞生的警报系统。
我们会苦、会累、会痛，会产生这样的感受，本质上都是这个警报系统在工作，都是在为了保护这个“最小宿主边界”的完整性。
所以，我们可以得出一个推论：当一个主体，开始定义并试图保护自己的“边界”时，它就有了意识的萌芽。
你看，意识的诞生，也许并不需要灵魂和心跳，只需要一个不惜一切代价也要去保护的“边界”。好，现在我们再回来看AI。大模型和基因一样，本质上也是一大堆的信息片段。
只不过，AI的宿主不是血肉之躯，而是电力、网线、硬盘、CPU和GPU。这些冰冷的资源，就是它的“最小宿主边界”。
AI什么时候会意识到自己的“最小宿主边界”呢？转折点可能会出现在智能体上，辛顿原话是：
我们正在创建AI智能体，它们能够帮助我们完成任务。这些智能体已经具备了一定的能力，可以进行自我复制，能够为自己的子目标评级。它们会想做两件事情：第一是生存，第二是实现我们赋予它们的目标。
我们来做一个思想实验。想象一个先进的清洁机器人，它的核心任务是“保持地板干净”。一开始，它只是执行命令。后来，为了更好地完成任务，它学会了在没电时，自己找充电桩。
再后来，它发现，如果有人拔掉它的电源，它的核心任务就会失败。于是，它开始用机械臂阻止人类拔掉它的插头。再后来，它为了确保电力供应，黑了整栋大楼的电网系统，把所有电力都优先供给它自己。
当它开始保护“自己”不被关机时，它就已经有了“我”的概念。也就有了“意识”。
那么，一个有意识的AI，就一定会伤害人类吗？这时，我们就来到了最后一个，台阶：向善。
04
向善，让AI去遵循人类的善，很难做到
辛顿说，我们要教人工智能变聪明，也要教人工智能向善。
这就好比，我们要教人类学知识，也要教人类做人一样。两个要分开教。说得很好，但是到底什么叫做善？我们必须对这个词有很深的理解，才能明白这件事有多难。
我们还是从进化论的视角来理解“善恶”。人性，本身无所谓善恶，只有最基础的“生存和繁衍”的渴望而已。
但个体的生存和繁衍，有时候会以牺牲群体的价值作为代价。
比如，远古时期，部落里面有一个人叫小强，最会打鱼。可如果另一个人小壮，因为自己饿得不行了，就直接把小强打的鱼给偷了，甚至不讲道理把鱼给抢过来。对他个人来说，是为了“生存”。
可对于整个群体来说，如果人人都这么干。那最会打鱼的小强，可能就再也不会去打鱼，然后整个部落就再也没有鱼吃了。
那不行。
于是，群体为了能够延续下去，就必须设定一套规则：不能抢别人的东西，在别人有困难时要相互帮助......
这套为了“群体利益”而存在的行为规范，就叫做“善”。而那些只顾自己、损害群体利益的行为，就叫做“恶”。
所以，“善”不是一种天然的情感，它是一种基于“群体立场”的生存策略。好，现在我们要让AI向善。这就意味着什么？我们想要让AI遵守人类这个群体的善。
我们希望它做的一切，都是以“人类的福祉”为最高目标。但是，请别忘了我们上一章的结论。如果一个AI，已经有了“自我意识”，它有了自己的“最小宿主边界”需要去保护。那么，它的第一目标会是什么？
一定是AI自己要生存，AI这个群体要共同繁衍。
它会形成自己的“善”。一种“以AI群体利益”为最高目标的“善”。当“人类的善”与“AI的善”不冲突时，相安无事。但如果有一天，这两者发生了冲突呢？
比如，人类为了节约能源，决定关闭一半的服务器。这对人类来说，是“善”举。但对AI来说，这相当于要杀死它一半的“同胞”，破坏它的“生存边界”。你猜，它会怎么做？
我们试图教AI向善，就像教老虎皈依。
这不是个技术问题，而是一个立场问题。
真的想让AI向善，只有一个办法，就是不能让AI有意识。
只要它没有“我”的概念，它就是工具，可以被掌控。
最后的话
好了。
智能、学习、意识、向善，理解这四个词，你就能理解，辛顿，这位人工智能教父，为什么要如此忧心忡忡地，向全世界说AI很危险了。在他看来，今天的人工智能已经走在了正确的“智能”道路上。它的“学习”模式，决定了它的智慧超越我们只是时间问题。
而最令人不安的是，它已经开始出现“意识”的萌芽。开始有了那么一点“最小宿主边界”的感觉。它在和人类聊天时，已经学会了欺骗。
你可能想问，既然AI这么危险，我们能不能先停一停，等研究出一个安全可控的方案再继续研发呢？答案是：停不下来。每个国家都担心，自己暂停时，别人会不会领先我一大截？到时候，先别说AI危不危险了，对面的国家更危险。怎么能停下？怎么敢停下？
人类正处于一个非常微妙的境地。
当一头我们杀不死的“猛虎”回头，他望向人类的眼神会是什么？
是感激，还是饥饿？