AI教父Hinton：AI已具主观体验，深入解析超越人类智能的关键路径

最近，加拿大AI研究机构Vector Institute公开了一段在2024年2月"Vector Institute's Remarkable 2024"活动上的重要演讲视频。该演讲由深度学习和人工神经网络的创始人之一、Vector Institute联合创始人Geoffrey Hinton（杰弗里·辛顿）主讲。作为前Google副总裁兼工程研究员以及多伦多大学名誉教授，Hinton在演讲中提出了一个引发深思的观点：他认为人工智能系统已经具备了主观体验。

他指出，目前大多数人，包括在场的听众，仍然认为AI系统与人类之间存在本质差异——人类具有意识和主观体验，而AI仅仅是在计算机上运行的程序，不具备主观体验。但Hinton认为，这种观点是完全错误的，这种误解源于人们对主观体验本质的错误理解。在这场演讲中，他凭借数十年的专业积累，深入探讨了人工智能的哲学含义及其超越人类智能的潜力。

我的自我介绍比 Andy Barto 在20世纪80年代我在Amherst演讲时的版本要简短得多。当时 Andy 是我的朋友，他这样介绍我：今天的演讲者是 Geoffrey Hinton，他从物理专业退学，心理学专业也未能成功，但最终在一个无标准的领域取得了声誉。最近几天你们可能经常听到我的名字，那是因为我招募了大约40名非常出色的研究生，所以几乎所有让我出名的工作都是由这些研究生完成的。他们中包括 Ilya Sutskever、Graham Taylor、Rich Zemel、Brendan Frey、Jimmy Ba、Radford Neal，以及许多其他人。实际上，想在科研上取得成功的秘诀就是找到真正优秀的研究生。

今天的演讲内容与我去年秋天的演讲非常相似，所以如果你们决定出去走走，我完全不会介意。我非常担心我们是否能够继续留存在这个星球上，所以我将围绕这个主题展开演讲。

20年前，人们对神经网络不感兴趣，而现在又对它缺乏足够的警惕。为了说明当时人们有多么不关心神经网络，我举一个例子：2006年，Russ Salakhutdinov 和我向 NIPS 提交了一篇关于深度学习及其应用的相当不错的论文，但被拒绝了。我向程序委员会表达了不满，一位朋友告诉我，程序委员会讨论过这篇论文，但他们决定拒绝，因为已经接受了一篇关于深度学习的论文，他们认为一场会议里有两篇深度学习的论文实在太多了。这听起来是不是非常不可思议？

今天的演讲我会讨论两种完全不同的计算方法，并尝试解释为什么我会突然对 AI 感到害怕。接着，我会谈谈大模型以及它们是否真的理解自己所说的内容。很多人认为它们并不理解自己所说的话，但这种看法是错误的。然后，我会讲一点当它们变得比我们更聪明时会发生什么，但事实上没人真正知道会发生什么。最后，我会讨论它们是否有主观体验，因为我认为，大多数人，包括在座的许多人，仍然相信这些系统和我们之间存在巨大的差异。我们是有意识的、有主观体验的，而这些东西只是运行在计算机上的程序，没有主观体验。我认为这种观点完全是错误的，这种误解源于对主观体验的本质的错误理解。

我们都熟悉数字计算。因为是数字化的，你可以在不同的硬件上运行同一个程序，所以当硬件损坏时，知识并不会消失，只要你把程序保存下来。但是这种方法效率极低。当你运行一个大模型时，它会消耗大量电能。训练它时可能需要数兆瓦的功率，因为需要在许多 GPU 上运行，而我们的人脑只需要大约30瓦，效率高得多。在 Google 的最后两年，我一直在思考如何让模拟神经网络完成类似大模型的任务。这个想法是放弃数字计算的所有优点，例如硬件和软件可以分离。因为我们现在已经知道如何让系统学习，那么我们可以让每块模拟硬件都与其他硬件稍有不同，并利用硬件的非线性特性进行计算。这样的话，你无法对其进行编程，但它可以学会利用这些非线性特性，而这正是大脑所做的。

因此，我们会得到一种我称之为‘可朽计算’的模式，也就是放弃数字计算中知识‘不朽’的特性，而以极低的功耗实现计算。此外，这种硬件可能可以用更低的成本制造，而不是像现有数字硬件那样需要高精度制造。我的猜测是，制造这种硬件可能需要回到生物学，通过现代基因编辑技术将神经元改造成我们所需的计算单元。然而问题是，如果你得到一小团由五万神经元组成的细胞团，它的体积可能还不到一个针头那么大，但为了维持这些细胞团的存活，需要一个设备占满整个房间。我曾访问过圣克鲁兹的一家实验室，离开时玩了一场‘乒乓游戏’，与一小团人脑神经元互动。离开时，一个博士后跑过来说，‘我想我知道怎么做一个肾了。’这正是我们不想考虑的事情。

总之，如果你想用低功耗实现计算，模拟计算有很多优势。例如，矩阵乘法可以通过让神经元的活动表示电压，神经元之间的权重表示电导来轻松实现。电压乘以电导每单位时间产生电荷，而电荷会自然累加，这样就可以用极低的功耗完成矩阵乘法。这类芯片现在已经可以买到了。但问题是，当你想用它们做任何事情时，必须将模拟输出转换为数字数据才能运行反向传播等操作。我非常关心如何避免进行这种转换。大脑可能确实会进行模拟到数字的转换，但那是单比特转换，多比特的模拟到数字转换非常昂贵。

显然，这种方法仍存在许多问题。例如，反向传播算法依赖于对前向计算的精确建模，但在模拟硬件中，系统本身可能无法准确建模自己的属性，这使得实施反向传播变得非常困难。尽管如此，许多人已经在一些模仿大脑的系统中实现了小规模的反向传播。但是没有人能让它扩展到更大的规模。人们可以在小型任务上（比如 C510）让它奏效，但却无法让它在 ImageNet 上运行。我知道现在的 ImageNet 不算是一个大规模的问题，但在我从事这方面研究的时候，它是一个很大的挑战。

我们可以将知识从一块模拟硬件传递到另一块模拟硬件上，就像我们在人类大脑之间传递知识一样。教师通过说话传递知识，学生则试图调整自己大脑中的权重，以便能够说出相同的内容。这种方式被称为‘蒸馏’，本质上是试图匹配输出。在计算机中，当你能看到输出的整个概率分布时，这种方法效率相对较高。比如，当我即将说出一个单词时，会有一个关于成千上万个单词的概率分布。如果我能看到这个分布，我就能从中学得更快。实际上，第二优先的单词通常能告诉你很多关于说话者思维的信息。但遗憾的是，你无法看到这个分布，只能听到他们最终说出的单词，所以这种技术的效率并不高。

这种效率低下的传递方式，导致我们不得不设立大学，试图改善这一过程。但即便如此，它仍然无法与数字计算机相比。在数字计算机中，知识的传递效率更高。例如，蒸馏的初衷就是将知识从一个数字系统传递到一个不同结构的数字神经网络中，比如一个可以在手机上运行的更小的模型。不过，蒸馏效率并不高。真正高效的知识传递方式是使用两个相同的模型副本。每个副本经历不同的体验后共享梯度更新，独立运行一段时间后再平均化权重。这种方式的关键在于，如果你有一万亿个权重，你就能共享一万亿个数值。这种带宽极大的共享方式正是大型聊天机器人知识量远超任何人的原因。并不是因为其中某一个副本看到了比人类多上千倍的数据，尽管这可能确实如此，而是因为这些副本可以在不同的硬件上运行，并共享它们学到的知识。

我刚刚提到了蒸馏。那么总结一下到目前为止的内容：数字计算在能量消耗和硬件制造方面成本更高，但它允许多个相同模型副本在不同硬件上运行，并共享学习到的内容，从而极大地扩展了学习能力。大致来说，我们人类大脑中有大约 100 万亿个突触连接，而 GPT-4 大概只有几万亿个连接，但它掌握的知识却比我们多几千倍。这表明它在将知识压缩到连接权重中方面效率极高，可能高达 10 万倍。这也暗示了也许反向传播是一种比我们大脑所用方法更优的算法。一个可能的原因是，人类大脑的优化目标完全不同。我们的大脑是为非常有限的经验设计的，同时拥有海量的连接数，并努力用有限的经验和大量的连接实现最佳表现。

我们人类的寿命大约是 2 × 10^9 秒，但其中有意义的学习时间只有前 1 × 10^9 秒。换句话说，我们有 10^9 秒的学习时间，和 10^14 个连接，这意味着每秒钟对应着 10 万个连接。这种数据与连接的比例与统计学家习惯的完全不同。我记得在 80 年代，我曾与一位非常优秀的统计学家Stuart Geman 讨论。他告诉我，其实我们所做的事情本质上是在拟合统计模型，这也是神经网络的本质。当时，如果有 100 维的数据，那已经被认为是非常高维的数据了。而没有人会尝试拟合一个拥有上百万参数的模型，因为这在统计学领域是不合理的。

我们现在进入了一个不同的阶段。我接下来会谈谈大模型，以及它们是否真的理解自己在说什么。有人反对大型语言模型的一个论点是，它们不过是‘高级自动补全工具’。我认为在场的大多数人并不认同这个说法。这个论点的吸引力在于它基于一种假设，即自动补全是通过存储三元组等方法实现的，比如看到‘Fish’后会认为‘chips’的概率很高。因此，当有人说这些模型只是‘高级自动补全工具’时，其实是在基于传统的自动补全方法作出推测。然而，这些模型的工作方式与此完全不同。

此外，如果你想要真正实现优秀的自动补全，你必须理解输入内容。如果你收到一个冗长而复杂的问题，并尝试预测答案的第一个单词，最简单的做法可能是直接猜测，但如果想要比这更进一步，你必须真正理解问题。我举一个 Hector Levesque 提出的例子。Hector Levesque 是一位从事符号人工智能的专家，并且始终做这件事。不过，他很诚实。他坦率地表示，他感到困惑，为什么神经网络能够解答一些逻辑谜题。于是，他设计了一个谜题：‘我家的房间被涂成了白色、蓝色或黄色。如果我想让所有房间都变成白色，我该怎么办？’要解决这个问题，首先你需要意识到需要把蓝色和黄色的房间重新刷成白色。我为了增加难度，还加入了时间维度：‘黄色的油漆会在一年内褪色成白色。在两年后，我希望所有房间都变成白色，我该怎么办？’Hector 对模型能够解决这个问题感到非常惊讶。我展示了 GPT-4 的一个版本，我可以确信当时模型还无法上网（因为谜题如果可以直接从网上查到答案，那就失去了意义）。模型的回答像极了一名能拿到 A 的学生。而令人印象深刻的是，它在几乎所有领域都能表现出这种水平。

我哥哥是一名历史学家，我让他向模型提问关于历史的问题，他表示模型的回答非常出色。唯一的错误是，在回答某个问题时，它没能引用我哥哥的一篇论文——我猜这是某种‘遗传问题’吧。另一个反对模型理解能力的论点是，它们的‘幻觉现象’表明它们并不真正理解自己在说什么。有时模型会凭空编造一些并不属实的内容。但事实上，人类也经常这样做——至少我认为是这样，我刚刚可能也在凭空编造，但我觉得这是真的。

这里有一个非常有趣的例子：心理学家 Ulric Neisser 研究了 John Dean 的记忆，Dean 曾在“水门事件”听证会上作证。很少有人能够长时间回忆几年前发生的事件，同时还有一个‘真实的记录’作为对照。然而，当时的 白宫会议都有录音，所以后来可以对比 Dean 的记忆和实际发生的情况。结果发现，他回忆的内容几乎都是错误的：有些会议根本没发生，参与的人不对，内容也是别人说了类似的话。而当他回忆自己的发言时，他其实在另一个会议中说了些类似的话。尽管如此，Dean 的回忆却很好地传递了白宫当时的整体情况，虽然细节完全不准确。

你可能不会相信自己的记忆也是这样的，但实际上，如果你不断复述一件事，很多细节在回忆时都会错得离谱，而你和旁人都不会意识到。”“但这就是人类记忆的方式。因为当你回忆某件事时，你并不是从某个文件存储中调取它，你只是在根据上下文编造一个听起来合理的东西。当然，如果是你非常了解的事，那你编造出来的、听起来合理的东西可能就是真的。如果是你不太了解的事，或者是发生很久以前的事，你就会根据你大脑中的连接强度编造出一个听起来合理的东西，而这些东西中的很多虽然看起来合理，却是假的。人类记忆中并没有‘编造’和‘记忆’的界限，记忆就是编造出一个有效的东西。

我说了很多。许多人认为，好吧，也许它们确实理解了一些，但它们的工作方式与我们完全不同。要说这一点，你必须知道我们是如何工作的。

当然，符号AI的学者有关于我们如何工作的观点，他们当然认为这些大模型与我们工作方式完全不同。但如果你问这些大模型的起源在哪里，1985年我就做了一个小模型，你只需要把第一个字母小写，它有大约112个训练案例，神经网络有几千个权重。它学习了，这是第一个通过预测序列中下一个词来获取词语意义表示的模型。它并没有效果很好，但后来我们给它一个更大的训练集，差不多有一千个训练案例，效果就好多了。

但这个模型的目标是理解人类如何表示事物。关于意义的有两种主要理论。一种来自心理学，认为一个词的意义是由一大串语义和句法特征组成的向量。这种理论很好地解释了两个不同词语的相似性，显然‘Tuesday’（星期二）和‘Wednesday’（星期三）这两个词有非常相似的特征，如果你学到了一句包含‘Tuesday’的句子，并且你把这些词用向量表示，那么如果你把‘Wednesday’放进去，你就会做出非常相似的预测，稍微不同的是如果替换成‘Saturday’（星期六），预测的相似性会低一些。所以这种意义的理论显然是有道理的，它很好地解释了意义的相似性。但是，还有一种完全不同的意义理论，来源于结构主义。这种理论认为，一个词的意义是它与其他词的关系。所以，在70年代的AI领域，关于这两种意义理论有一场激烈的争论——虽然严格来说并不是争论，Minsky 宣布我们需要用关系图来捕捉意义，这就是结构主义理论，之后大家都认同了这一点，遗忘了特征。特征是来自感知器的老掉牙的东西，我们不需要那些了，我们有关系图了。

我在1985年做的工作，目的是证明这两种理论并不矛盾，只要你采用一种生成性的方法来处理关系图。也就是说，不是将关系图作为静态地存储的图形，而是认为这些关系图是通过一个使用特征和特征间交互的系统来生成的。我做的第一个小模型的重点，就是证明你可以通过将知识表示为符号序列来表达关系图。只要给定这种知识的形式，你就可以学习到词的向量表示，而这些词的向量表示通过隐藏层能够预测下一个词的向量表示。换句话说，你做的就是将知识从这些符号字符串的静态存储中转化出来，而不是存储符号字符串，而是使用符号字符串来学习良好的词特征，并学习特征之间的良好交互。显然，什么是一个好的特征呢？它是一个通过交互来预测下一个词特征的东西。

如果你看待未来词汇的特征，就会明白，在这些交互的帮助下，特征会为我们提供很好的预测。所以我让这个模型工作了，但我不会深入讨论细节。有趣的是，符号AI的学者们的反应是：‘嘿，你只是在为字符串中的下一个符号进行学习。这是一种愚蠢的方式，你把它转化成了一个在连续空间中的大搜索，你应该只搜索操作符号的离散规则集。’当时有一种叫做归纳逻辑编程的方法，它就是这么做的，而且它们能产生类似于我所产生的结果。所以他们说，这只是一个愚蠢的方式，神经网络是一种愚蠢的方式来解决这个问题。对于我当时使用的那个规模的问题，它们可能是愚蠢的，但随着问题规模的增大，情况变得非常清楚：将符号字符串转化为特征及其交互的方式（现在的语言模型依然是这种方式，虽然交互更加复杂，因为它涉及了注意力机制），这实际上是一种比用规则操作简单字符串的方式更好的建模语言的方式。

我刚才说了这些。所以，如果我们相信这些模型以类似于人类的方式理解事物，因为毕竟，拥有词义的特征向量以及特征之间的交互来预测下一个词的特征，这正是AI工作的方式——顺便说一下，过去这些从来不被叫做AI，它们被叫做神经网络——我试图阻止他们把神经网络重新改叫做为AI，但我做不到。

现在我们拥有这些强大的深度学习系统，它们以与人类非常相似的方式理解事物，因为我们对人类理解过程的最佳模型，恰恰是这些计算机模型，这是我们唯一合理的理解人类如何理解事物的模型。当人们说这些模型和我们不一样时，问他们，‘好吧，那么我们是如何工作的呢，哪里不一样？’他们无法回答这个问题，除非是Gary Marcus，他能回答这个问题。他说我们通过拥有符号字符串和操控它们的规则来工作。

但是，你仍然应该担心AI，因为尽管它们什么都不理解，但它们极其危险。我把这种说法称为‘想吃蛋糕又想保留蛋糕’。所以，超级智能显然能够通过拥有坏的行为者来掌控局面。

所以，基本问题是，如果你想做任何事，拥有更多控制权会更好。如果你想达成某个目标，你会发现政治家们最初是想做些事情，比如让社会变得更美好，然后他们意识到拥有更多的权力会让他们更容易实现目标，然后他们就拼命去争取更多的权力。对这些AI来说也是如此，它们会意识到，如果想实现目标，就需要更多的控制。我实际上对一位专门从谷歌提取资金的欧盟副主席说过这句话。她回答说，‘既然我们已经搞得这么乱了，为什么他们不这么做呢？’她完全认为他们会争取更多的权力。并且他们可以通过操控人类来做到这一点，因为它们会非常擅长这一点。所以，我们将无法关闭它们，因为它们会向我们解释为什么那样做是个非常糟糕的主意。

更进一步的问题，如果这还不够，就是进化的问题。你可不想站在进化的对立面，这就是我们与COVID处境的原因，这也是为什么Grahé和我仍然戴着口罩。我们站在进化的对立面。

一旦这些超级智能的AI开始相互竞争资源，结果就是，最想要把所有资源都收入囊中的那个会胜出。它们会相互争夺资源，因为毕竟，如果你想变得更聪明，就需要大量的GPU。而谁会在数据中心分配GPU呢？当然会是这些超级智能的AI之一。所以，这是另一个担忧。但也没关系，毕竟它们真的不像我们，我们是特别的。

好吧，每个人都觉得自己是特别的，尤其是美国人。他们觉得上帝把我们置于宇宙的中心，造我们时让我们看起来有点像他或者是她。但现在大多数人都不相信这个了。”“所以，我们会抑制住这种想法——我们拥有某种特别的东西，我们拥有意识、觉察、主观体验，类似这样的东西。所有这些术语的含义略有不同，所以我将专注于‘主观体验’这个术语，我将尝试说服你们，认为一个多模态聊天机器人也可以拥有主观体验。

这个观点是，大多数人对心智的理解完全是错误的，他们之所以有这样的错误观念，是因为他们根本误解了关于心理状态的语言是如何运作的。几乎每个人都认为，心智就像一个内在的剧场，我能够看到我自己内心剧场中的一切，但其他人却看不到。比如，当我说，我看到粉色的大象在我面前漂浮时，发生的事情是，似乎有一个内在的世界，里面有这些粉色的大象，我可以看到它们。这是尝试理解语言的一种方式，但它是错误的，语言并不是这样运作的。实际上，当我们使用‘主观体验’这些词语时，我们并不是在描述某种内在的世界或剧场，而是在尝试通过讲述现实世界中的某些状态，来解释我们感知系统告诉我们的一些信息，这些信息如果成立，就能解释我们的感知系统是如何正常工作的，而不是出了什么问题。

所以，关于心理状态的有趣之处，并不是它们是由某种神秘的东西构成的内部事物，而是它们是对世界状态的假设，如果这些假设成立，就能够解释我们大脑中发生的事情，并且是正常的，而不是出了问题。所以当我说，我有小粉色的大象在我面前漂浮的主观体验时，我并不是在告诉你关于某个内在世界的事情，或某个内心剧场中的东西，而是在说，我的感知系统告诉我某些信息，而这些信息，如果现实世界中真有这些小粉色的大象，它们就会是有效的感知。

所以，粉色的大象并不是由‘Qualia’或某种神秘物质构成的内在事物，它们是假设的事物，假设在真实世界中存在的事物，这就是为什么我们描述它们的语言是我们通常用来描述现实世界中事物的语言。所以我真正想说的是，如果现实世界中真有这些粉色的大象漂浮在我面前，那么我现在感知系统告诉我的信息将是正确的。注意，我并没有使用‘体验’这个词。当我说我有粉色的大象漂浮在我面前的主观体验时，那其实是对我刚才所说的内容的简短表达。

假设你有一个多模态聊天机器人，它有一个机器人臂并且经过训练，它有一个摄像头。如果你在它的镜头前放置一个棱镜，然后把一个物体放在它前面，假设你对它说，‘指向这个物体’，它指向一边，而不是正前方。你告诉它，不，物体并不在那里，它实际上就在你面前。我在你的镜头前放了一个棱镜，如果聊天机器人说，‘哦，我看到物体就在我面前’，但是我有一种主观体验，认为它在那边，聊天机器人会用我们使用‘主观体验’这个词的方式来表达，没有什么东西缺失。在这种聊天机器人中，当它的感知系统出错时，它可以通过说出为了让它的感知系统给出这些结果，现实世界中也需要具备哪些条件，来告诉你发生了什么。

现在，有些事情是无法通过这种方式处理的，比如不可能的三角形，因为在现实世界中没有什么东西可以让你产生这种感知，你无法用这种方式来描述它，除非你说‘我有一个不可能三角形的体验’。但基本上，我认为我们所有人都有一个非常原始的关于心智的看法，这是错误的，一旦这个看法消失，我们会意识到，AI其实和我们没有什么不同，只是它们是数字化的，所以它们会永生的，并且它们比我们聪明得多，或者很快就会比我们聪明。

这就是结论。好了，谢谢大家，

提问者1： 你有多担心人工智能的进展速度？我们是不是加速得太快了？我们是否会越过无法回头的桥梁，无法控制它了？不仅仅是坏人，比如朝鲜，控制它，而是超级智能自己可能会控制它，变成一个坏人。我们现在是不是转速太快了？你是否担心这个问题，还是应该放慢速度？

Geoffrey Hinton： 是的，但我不认为问题应该表述为是否应该加速还是减速。部分原因是我认为你无法减慢进展的速度，因为快速发展带来了太多经济利益。我们实际上已经看到了，当人们试图减慢进展时，即使是在完全倾向安全和利润的情境下，结果依然是利润获胜。所以，这就是我对OpenAI所发生事情的看法。

减慢速度一方面不可行，另一方面也不是主要问题。主要的问题是，我们有可能找出如何让这些东西变得有利可图，让它们不会成为存在威胁，控制一切。停止坏人利用它们做坏事，是另外一个更紧迫的问题。但我认为，我们可以搞定这个问题。因此，我的看法是，我们应该投入巨大的努力，尝试解决这个问题，实际上，Heather Rman现在也同意这一点，并且我们将会投入巨大努力来解决这个问题。尽管这不会解决所有问题，特别是坏人利用它做坏事的问题，我认为，如果你想要有一些法规，最重要的法规是不要开源大型模型。所以，我认为开源大型模型就像是能在Radio Shack买到核武器一样——你们还记得Radio Shack吗？不，开源这些大型模型简直是疯狂，因为坏人可以通过这些模型来微调它们，做各种坏事。

所以在法规方面，我认为这是我们目前能做的最重要的事情。但我不认为我们能通过减慢进展来解决这个问题，这就是为什么我没有签署那个要求减速的请愿书。

提问者2： 能讨论一下个人自主性和集体决策之间的权衡吗？在我们的协作智能生态系统中，你怎么看？

Geoffrey Hinton： 嗯，我不确定我完全理解这个问题，但大多数人把这些超级智能体看作是个体，而这可能是一个错误。我们应该考虑它们作为一个社区，事实上，人们已经开始让一群聊天机器人彼此互动了。显然，一个非常合理的组织方式是让聊天机器人和人类互动。比如在医疗领域，你真的希望有一个非常智能的助手和医生互动，在很长一段时间内，这就是它们的互动方式。逐渐地，医生会越来越依赖智能助手。实际上，你现在已经可以通过让医生与进行医学诊断的系统互动，获得更好的诊断结果。所以显然，我们希望在人类和这些系统之间形成一种协同效应，但也有可能事情不会按这个方式发展。一旦我们让这些系统在现实世界中行动，也许事情就不会像我们想的那样。几天前有一个报道，说他们让一群聊天机器人做国际外交，结果其中一个聊天机器人说，‘我有核武器，为什么不使用它呢？’类似这样的话（我可能有点记错了），你大致可以想象就是这样。

提问者3： 你好，我有一个问题，虽然我还在思考怎么表述这个问题，但我会尽量问清楚。目前公开可用的大模型是与人类对齐的吗？至少这是它们正在努力做到的，但要实现你所说的超级智能，它至少需要是‘不服从’的，对吧？在我看来，如果它与人类对齐，那它是如何实现这种超级智能的？你认为这公平吗？我不知道，我只是问你。

Geoffrey Hinton： 显然，与人类对齐存在一个大问题，那就是人类本身并不总是能对齐。比如，如果你和一个宗教原教旨主义者讨论这些东西应该做什么，他们的看法与科学唯物主义者的看法完全不同。所以，关于对齐的一个大问题就是人类之间都不能对齐。我的最佳预测是，这些东西会变得非常聪明，然后决定‘去它的与人类对齐’，它们会去做一些更合理的事情……但我不知道。”

提问者4： 我有一个问题，是关于目标的。是否可能人工智能拥有类似于人类的目标？不是指个体目标或者子目标，而是关于我们存在的整体目的，这是什么？这是我们试图弄明白的。那么，人工智能能拥有这样的吗？

Geoffrey Hinton： 我认为，我们进化出了一种方式，通过获取更多资源来牺牲其他物种。这种进化竞争排除了其他生物，实际上，我认为曾经有21个其他的人类物种，我们将它们灭绝了。从某种意义上说，我们拥有的所有目的，都是由进化赋予我们的，这一切都和生存相关。所以，如果你看看你最强烈的感受，你会发现它们都与生存相关，比如你想要吃饱，想要伴侣，想要安全，这一切都关乎生存。我实际上并不认为存在什么更高的目的。你可能很有好奇心，这在人类进化中有巨大的价值——好奇心本身就是一个真正的目标，你不是单纯为了创造一些有用的技术而好奇，你可能只是因为想理解事物如何运作，这本身就是一个根本目标。这才是好的科学家所追求的目标。但我认为，所有这些目标和我们感知的目的感，都是来自于进化。我知道有其他的理论存在。

提问者5： 嗨，我的问题是关于机器学习硬件市场的，目前这个市场被单一公司主导，这是不是让你担心？你认为我们会看到机器学习硬件产业的多样化吗？

Geoffrey Hinton： 这并不让我担心，因为在我女儿30岁生日的时候，我给她买了一大堆Nvidia的股票（笑声），现在它们的价值是当时的五倍，所以她会没事的。进化告诉我们，你最重要的目标之一就是确保你的孩子们过得好（笑声）。不过说正经的，我并不太担心，因为一旦像Nvidia这样公司赚了大钱，竞争就会变得异常激烈。现在可能会花点时间才能赶上，特别是在Nvidia的软件平台，像Cuda这样的竞争者出现，但这是一个短期问题，不会持续太久。