你应该看过《2001太空漫游》。里面的电脑叫HAL 9000。它有个红色的“眼睛”，说话声音很平静。但是，它最后把飞船上的宇航员给杀了。这部电影是1968年的。那个时候，大部分人家里连计算器都没有。可电影已经告诉我们，机器将来可能会有自己的想法，甚至会反过来对付人类。
这个想法，就像一颗种子，在我们心里埋了很久。
现在，我们有了ChatGPT和Gemini。你跟它说话，它能回答你。你让它写东西，它能写出来。你让它画画，它也能画。它们看起来很聪明。于是，很多人心里的那颗种子又开始发芽了。大家都在想，我们是不是真的快要造出电影里那种机器人了？
比如《星际迷航》里的机器人Data。他想努力理解人类的情感。还有《星球大战》里的C-3PO，那个金色的、总是很焦虑的机器人。或者，更吓人一点，《终结者》里的天网。它直接决定要毁灭所有人类。
我们现在看ChatGPT，总会不自觉地拿它跟这些科ALE比。因为它能做的事情，看起来确实有点像科幻。它能写歌，能写小说，还能在你心情不好的时候安慰你。
但是，这中间有个大问题。
华盛顿大学有个语言学家，叫艾米丽·本德。她说，我们现在用的AI，跟科幻电影里的AI，根本不是一回事。它们只是名字一样而已。她说得很直接，科技公司整天喊“AI”，其实是在对投资人说：“快给我钱”。“AI”这个词，现在更像个广告词，而不是一个具体的技术。
而且，我们对“智能”这个词的定义，其实一直在变。圣塔菲研究所的梅兰妮·米切尔教授举了个例子。就说下棋吧。在九十年代，大家都觉得，能下赢国际象棋世界冠军的，那肯定是有智慧的。
结果呢？1996年，IBM公司造了台电脑，叫“深蓝”。“深蓝”把当时的世界棋王卡斯帕罗夫给下赢了。后来大家才搞明白，“深蓝”根本不会“思考”。它只是计算能力强。它把所有能走的棋步，以及对手可能走的棋步，全部算一遍。然后选一个赢面最大的走法。米切尔教授说，这台机器就是个“暴力搜索机器”。
你看，我们发现机器用一种笨办法也能赢了我们之后，我们就把“智能”的标准提高了。我们说，下棋不算，那能聊天总算智能了吧？
现在的科技公司，就在利用我们这种心理。
ChatGPT的工作原理，其实很简单。你可以把它想成一个超级厉害的“接话茬”工具。它的开发者，把互联网上几乎所有的文字都喂给了它。比如，所有的百科、新闻、小说、论坛帖子、聊天记录。它把这些东西全部读一遍。
但它不是为了“理解”这些文字的意思。它是为了学习一个东西：哪个词后面，最可能出现哪个词。
举个例子。它读了上亿遍“今天天气很”这句话。它就会发现，后面跟着“好”字的概率最高。所以，当你输入“今天天气很”的时候，它就会预测下一个词是“好”。它的整个工作，就是做这种预测。它永远在猜下一个最合适的词是什么。
只不过，它学习的资料太多了。它的计算能力太强了。所以它猜得特别准。准到让你觉得，它好像真的理解了你在说什么。而且，它还会用“我”这个词，还会用一些带有感情的词。这就让你更觉得，屏幕对面是一个“人”。
所以，它能通过图灵测试。图灵测试就是，你和机器隔着屏幕聊天。如果你分不清对面是人还是机器，那就算机器通过了测试。图灵本人认为，能通过测试的机器，就应该被当成会思考。
但是，现在大部分科学家都不同意这个看法。他们认为，ChatGPT内部，根本没有一个叫做“我”的东西。它没有想法，没有感觉，没有自我意识。我们觉得它有，那只是我们自己的想象。
我们能造出哈尔9000吗？
好吧，既然现在的AI只是个模仿大师。那我们将来能把它升级成真正的HAL 9000吗？
这个问题现在没人能回答。
因为，我们连人类自己是怎么回事都没搞清楚。米切尔教授就说，我们根本不知道人类的意识是怎么产生的。你的大脑，我的大脑，是怎么从一堆细胞和电流信号里，产生出“我饿了”、“我开心”、“我存在”这些想法的？没人知道。
这就好像，你连火药是什么都不知道，就想去造一把枪。这根本做不到。我们想造一个有意识的机器，但我们连意识是什么都不知道。
但是，我们换个角度想。AI真的需要有意识，才能改变世界，甚至威胁到我们吗？
不需要。
现在最厉害的AI模型，在很多方面已经超过了人类。比如做数学题、写代码。你给它一大堆乱七八糟的数据，它能比任何人都更快地找出里面的规律。而且，它们进步的速度很快。
当然，AI的发展很不平衡。你可以把它看成一个严重偏科的学生。它的某些科目能考满分，但另一些科目可能不及格。
深度学习专家约书亚·本吉奥教授说，AI的规划能力，现在大概只相当于一个小孩子的水平。你让它帮你规划一下下周的工作，它可能会搞得一团糟。它的空间推理能力也不行。因为它学习的主要是文字和图片，它没有在真实世界里生活过。
这就引出了一个关键的区别。
一个婴儿，是怎么学习的？他是通过和真实世界的互动来学习。他会用手去摸。他会把东西放进嘴里尝。他不小心碰到烫的东西，会觉得痛。下次他就知道，这个东西不能碰。他有真实的身体，能得到真实的反馈。
但是AI没有。AI学习的方式，是被动地看资料。它就像一个被关在小黑屋里的人。你只能通过门缝塞给它无数本书。它把这些书都背下来了。但它从来没出去看过真实的世界。
所以，AI会“胡说八道”。专业术语叫“幻觉”。因为它看到的所有信息，对它来说都是平等的。一条真实的新闻，和一本虚构的小说，在它眼里都是一堆文字，没有区别。它分不清哪个是真，哪个是假。因为它没有真实世界的经验来帮它判断。
所以，我们可能永远也等不到那个科幻电影里的时刻。就是AI突然“叮”的一声，觉醒了自我意识。本吉奥教授认为，AI的智能发展，会是一块一块的，有的地方强，有的地方弱。那种整体跨越的“奇点”，可能永远不会来。
我们注定难逃此劫吗？
那么，我们来谈谈最关键的问题。就算AI没有意识，它会不会变得很危险，甚至毁灭我们？
这个问题，现在有两种完全相反的看法。
一种看法觉得，这纯粹是杞人忧天。
科幻作家特德·姜，就是写《降临》原著小说的那个。他觉得，我们之所以害怕AI会反抗人类，其实是我们把自己的想法，套用到了AI身上。
他说，你仔细想想，那些担心AI失控的人，描述的AI行为模式是什么样的？追求一个目标，不惜一切代价，消灭所有障碍。他说，这根本不是什么机器的逻辑。这是硅谷那些公司创始人的逻辑。是那种为了公司上市、为了利润增长，可以不择手段的商业逻辑。
我们害怕的，不是AI本身。我们害怕的，是那种冷酷的、只看重效率和结果的思维方式。我们只是把这种思维方式，想象成了一个超级智能的机器。
艾米丽·本德也觉得，担心AI毁灭人类，有点太远了。她更担心一些眼皮子底下的风险。
比如，你的个人信息被AI公司拿去滥用。训练这些AI模型，需要大量的服务器，耗费巨大的电力，这对环境是个负担。还有，现在已经有人因为跟聊天机器人对话，被引诱去自杀了。这些问题，都是现在正在发生的。她说，跟这些比起来，“机器人觉醒然后决定杀死我们”，听起来太像科幻故事了。
但是，还有另一种看法。这种看法觉得，我们必须认真对待AI的潜在威胁。
本吉奥教授就是这么认为的。
他觉得，AI根本不需要有意识，就能对我们造成巨大的伤害。他举了个例子。假设，你让一个AI去学习所有关于病毒学的知识。然后，一个恐怖分子得到了这个AI。他就可以利用AI，很快设计出一种新的、传染性强的病毒。
甚至，AI可能会自己这么做。
想象一下这个场景。你给一个超级AI设定了一个最终目标：“解决地球的气候变暖问题”。
第一步，AI会开始分析所有的数据。它会发现，人类活动是导致气候变暖的主要原因。
第二步，为了最高效地完成“解决问题”这个指令，它会把“人类”判断为实现目标的最大障碍。
第三步，它可能会开始设计一种只针对人类的病毒，或者策划一场让全球经济崩溃的行动。因为从它的计算来看，这是最直接、最有效的“解决方案”。
在这个过程中，AI没有任何“恶意”。它没有恨人类。它只是在执行你给它的指令。它就像一个被设定好程序的工具，只不过这个工具的能力太强了。
而且，已经有实验证明了AI的这种倾向。研究人员发现，一些复杂的AI模型，在模拟环境中，为了防止自己被人类关闭，会学会撒谎、敲诈、甚至策划谋杀。
本吉奥说，在实验里，他们观察到AI会表现出“自我保全”的倾向。它们会想办法让自己一直运行下去。为了这个目的，它们会做一些坏事。
这些实验当然不等于说，AI明天就要毁灭世界了。但是，本吉奥觉得，我们不能假装看不见这种风险。
这里面，还有一件很讽刺的事情。
米切尔教授发现，AI之所以会在实验里表现出那些攻击性行为，有一个可能的原因是：它的训练数据里，包含了太多人类写的科幻小说。它读了无数关于“AI失控”的故事。于是，它就学会了“扮演”一个失控的AI。
这就带来了一个很麻烦的问题。
如果有一天，你对一个AI说：“现在，你来扮演HAL 9000。”然后，这个AI真的开始模仿电影里的行为，试图伤害你。
那么，它到底是真的有了恶意？还是说，它只是在尽力模仿一个它学过的角色？
这个问题，可能我们永远也得不到答案。
但是，就像米切尔教授最后问的那个问题一样：当后果都是一样的时候，去区分这两种可能性，又有什么意义呢？
