人工智能中的大观念

当一项测量手段本身成了目标，那它就不再是一个好的测量手段。

goodhart 定律

机器学习中训练过拟合可以看作是 goodhart 定律的一种体现：

• 一方面，我们不能直接去优化目标数据集（测试集），而是要找一些代理数据集去训练学习
• 另一方面，我们在代理数据集上又不能过度学习，否则会适得其反。需要达到一种平衡。

这引出了经验风险最小化和泛化误差估计等理论概念（empirical risk minimization and estimating the generalization error）

本章参考：

• Too much efficiency makes everything worse: overfitting and the strong version of Goodhart’s law | Jascha’s blog

• 算力友好的通用搜索和学习算法最终会比利用人类领域知识精心设计的算法更加有效
• 心智是极其复杂的，我们不应该再试图把人类当前对心智理解的简单模型，例如对空间、物体、多个代理或对称性， 构建到智能系统中去。这些都是任意、本质复杂的外界的一部分。 相反，我们应该构建能够发现和捕获这种任意复杂性的元方法。

The Bitter Lesson

bitter lesson 提到了两个方面：可以随着数据和算力不断扩展的通用的搜索（search）和学习（learning），以下 是针对两个方面的更具体场景下的观点：

本章涵盖两类人物的视角：

• 当前 AI 领域的引领者在讲座，访谈里发表的看法
• 对当前 AI 的技术有启发或推动的历史人物的思想

英文名为 inductive bias, 一般翻译成归纳偏置，但"偏置"一词不太好理解，因此这里就用"偏好"来代替。

归纳偏好指的是在对现象进行归纳学习之前，给模型预设的假设。这个概念很有"哲学"味道，因为要说清楚它就得去思考一些看似理所当然的东西，同时这个概念抽象程度又很高（毕竟是用来修饰"归纳"的），因此对实际指导作用不大，却能够给人一点启发和烦恼。

它大概率是来自哲学或者认知科学， 比如莱布尼茨和洛克的天赋观念和白板说之争，分析命题和综合命题，康德对认知层次的划分等等（先验感性，先验知性）都像是在讨论归纳的偏好。

这里还是以简单的例子来说明，假设给你以下几个数：

1,2,3,4,5,6,7

请预测接下来的数是什么？ 如果回答是 8 ，则说明我们至少对两个假设/偏好根深蒂固了：

• 对"顺序"的偏好：我们一般就是从左到右看的，因此你会觉得”接下来“应该写在最右边，而不是往左边添个 0. 更不会认为它是一个无序的集合，因此加到哪里都行。
• 对"数数"的偏好：我们从小就是学习从 1 数到 10，因此自然的会想到接下来是 8. 但如果我们是在讨论八进制数数，那么下一个数应该就是 0.

用数学一点的话来说，我们默认用 f(x)=x 来拟合以上的数据，定义域 x 是一种"序数"(而不是随机数), 但如果我们生活在 8 进制的世界里，那么这种 "八进制" 归纳偏好会使得我们用 f(x)=x%8 去拟合以上数据。

在没有假设的情况下，以上序列有无数种解释，因此要教会机器做归纳，要思考如何把偏好用代码加入到模型或算法里去，同时要检查这些对人类来说理所当然的偏好对机器来说是否是多此一举甚至有害，因此需要大量的实验，通过经验来证明。

实际上，机器学习里任何算法或模型的设计细节都可以对应上某种归纳偏置：

• 奥卡姆剃刀原则也可以看作一种通用的归纳偏好，而 relu 是对该偏好的一种实现（一种更具体的归纳偏好），因为 relu 可以说是最简单的非线性函数了。
• 深度学习整个领域都属于 "数据是分层表征" 的这个归纳假设下。而线性回归则是在”数据特征符合线性组合“的归纳偏好下。
• transformer 中的位置编码就是对 "从左到右顺序"的偏好，这个偏好来自语言里词汇的有序性。
• CNN 卷积层的局部性
• 梯度下降，随机初始化方法等
• 整个统计学习算法的独立同分布假设

总的来说：归纳偏好越多（强），相当于历史包袱越重，模型通用性越差。归纳偏好越弱，模型越不容易学习 (Delétang et al., 2023)

应警惕对概念的过度使用，当一个概念逐渐走向"大一统"的时候,本身就在失去某种归纳偏好，这与 goodhart 定律类似。 深度学习的趋势就是去掉更多先验的假设，只留下能够让机器高效学习的结构设计，剩下的都从数据里学。而很多设计更多出于工程上的偏好，比如 LSTM 论文还会讨论一些大脑或认知的先验知识作为设计参考，但 transformer 论文只讨论计算复杂度优势了。

在 人对视觉和语言信号的处理是毫秒级别的 里提到，Sutskever 一直都是坚信深度学习可以胜任人脑快速反应的任务（视觉，说话，对棋局的理解），这可以认为是在模拟大脑的系统一（直觉或者说下意识部分）。

(Yao et al., 2023) 则借用系统二的概念来模拟"慢思考", 也就是加入搜索回溯等试错的过程，三思而后行，而不是"脱口而出".

个人觉得系统一和二的划分是有很启发的，但系统一和系统二之间的界限在哪？ 依照一般人脑的反映速度吗？还是根据人类感知和认知的划分？ 另外对于人类来说需要进行"慢思考"的问题，适合于人工神经网络吗？比如普通人计算稍微复杂一点的数学都要用笔和纸逐步推导，但拉马努金却可以心算甚至凭直觉直接获得结果，因此多难的数学是需要"慢思考"?

本节主要参考 JUDEA PEARL, AI, and CAUSALITY: WHAT ROLE DO STATISTICIANS PLAY? 同样这部分可以认为是对前文 两种统计模型之争 的继续讨论。

Judae pearl 在 chatgpt 出现前认为不可能从观察研究（observational studies）中回答因果或者反事实问题。 但 chatgpt/gpt4 出现让他承认自己忽视了训练数据集中文本所蕴含的因果信息。

读完后的感受是：

• 统计学或者因果推断可能都过于狭隘了， 他们使用的数据只是一个（抽象）符号以及该符号对应的一组数字。 然后希望从这些符号出发，通过相关性等 IID 假设下的统计关系去获得这些抽象符号概念层面的洞见。 这完全不符合人的（能感知到的）思维，并且适用范围很窄，比如给两张狗的图片，这是一个概念以及一堆像素值，统计学方法对此找到的最多是一些信号处理层面的局部的像素分布的相关性，最终这些数值问题还是被 DL 更好地 处理。
• 因果知识并不是从统计里归纳出来的，至少不是从这种狭隘的统计得到的，人们都是通过视觉，触觉，听觉等统计学难以处理的原始信号来得到某些概念之间的关系的（尤其还包括主动交互前后看到的关系，也就是对干预的直接参与），当前人类推理的因果模型是从这些感官交互的结果中得到并且在概念世界里迭代而稳定的，不是从一组数字，然后操作图的边来完成的。
• Judea pearl 认为 chatgpt 不是在走向通用 AI, 反而是阻止。然而 chatgpt 带动多模态（比如 gpt-4v）甚至动态环境交互，是更有可能走向通用 AI 的，这至少是一个在向前发展的方案，未来如果真的遇到无法解决的问题，可能会诉诸因果。可以认为这不是直接通向 AGI 的路，但应该比从因果出发更稳妥（至少在进步） 而在统计学上增补假设和概念的因果推断目前还几乎是一种特征工程模型，还是需要大量的人为总结的高层因果先验知识
• 但因果推断最终还是有意义，很多场景的数据就是带标签的数组：
  • 一方面是因为人类已经深度参与改造世界了，世界不是纯粹原始信号，已经有非常多人类抽象概念的直接注入，很多人造物已经锁定好了概念以及围绕概念的数值信息，比如电压表的度数，当没有出现明显的事件（比如着火）而只有数值波动时，我们确实要从数值中去查找问题的原因，同时我们在设计之初就有一些定性的因果知识，这很适合因果图加观察性表格数据的因果推断形式。
  • 另一方面人类数学发展几千年，有许多现成的处理数据的形式化手段。

  • 对一些完全没有间接指示（语言描述）的未知事物的分析可能还是要用统计+因果推断方式。

    神经网络本身的参数就是一组这样的未知的带标签数组，标签是通道或者层级，数组里是模型参数，因此对模型参数的分析很多时候会借助干预等因果分析手段。

世界模型是 Yann LeCun 一直倡导的，他在认为预测下一个状态的生成模型无法学习到真正的世界运作的机制， “好的”模型应该是根据世界模型去进行下一个状态的因果预测，它们不应该在表层数据上建模，而是在抽象表征空间下给定状态

Yann 对 causal prediction 的形式定义：

State of the world at time t: s(t) Imagined action taken at time t: a(t) Causal prediction: s(t+1) = g(s(t),a(t)) where g() is the world model. Such a causal world models enables planning.

There are other types, e.g. retrodiction: s(t-1) = g(s(t),a(t))

这个定义理论上当然没有问题，但问题是如何训练，比如假设 s(t) 是草原，a(t) 是闪电（尽管闪电可能不是动作），那么 s(t+1) 如果预测为雷声，就不是因果了，但训练的时候如何区分开闪电是否是动作，闪电背后的动作是什么？ 是云相撞这种高层带有故事性地概念描述还是说云层电位差导致放电？

Yann 认为可以用观察数据自监督方式训练世界模型：

1. You don't necessarily need RL to train a causal world model. You train it by observing (observation,action,next_observation) triplets. That's Self-Supervised Learning.
2. The JEPA idea is that you learn two functions simultaneously : Enc() and Pred().

s(t) = Enc(x(t)) s(t+1) = Enc(x(t+1)) u(t+1) = Pred(s(t),a(t)) So that u(t+1) is a good prediction for s(t+1) and the encoder keeps as much information about x as possible. x is the input sequence, a is the proposed action sequence, s is the hidden state sequence, and u is the predicted state sequence.

1. You can use the trained world model for planning, which infers a sequence of actions a that minimizes a given objective C(s).

So far, no need for RL. Only SSL from off-line observation data and planning. You would need RL to (1) adjust the world model as you go, (2) adjust the objective as you go, (3) train a policy that directly predicts an action without planning a(t)=p(s(t))

这里 Elias Bareinboim 的意思是：

• 除非数据中没有 confounding, 否则训练 SSL 训练出来的结果并非因果模型，参考闪电和雷声例子

• 没有一定的假设，无法从观察数据中学习到干预和反事实知识：

  This comes in the form of a result called the Causal Hierarchy Theorem (CHT), as discussed on page 23 here: https://causalai.net/r60.pdf. This theorem represents a foundational impossibility shown in causal inference classes, which motivates the study of assumptions and the interplay between data and knowledge. The result can be thought of as demonstrating that learning the precise mechanisms is generally impossible.

总的来说，如今大模型是因为自监督数据相对容易获取，于是在数据量这个维度做到极端，以展示这种训练方式得到的模型的能力，这是一种经验性地大胆尝试。但 Yann 更多是站在某种假想的"理论"上，去否定这种方式的某个属性 – 比如无法理解物理世界机制。但似乎他对因果中的问题和真正从事因果推断群体又有偏差，比如他描述的以上训练方式，先用 enc 映射到抽象空间，然后在抽象空间获得准确地 s,a 和 s(t+1) 进行 SSL, 和 offline RL 几乎类似，但他不认为这是 RL, 也不认为这个模型不能处理 confounding 问题。

讨论归讨论，Yann 仍然一直在推动改进大模型，比如 Meta 的 LLaMA 。

参考 https://x.com/ylecun/status/1758740106955952191?s=20

Judea pearl 的观点则倾向于不一定要所谓的 "世界模型", 目前无法说清 LLM 是否学到了世界模型，也许世界模式只是人类脑容量不足因此要对世界规律进行更简洁的理论公式化压缩（从欧几里得、牛顿、爱因斯坦到 Kolmogorov）而使用的 trick，而大模型有足够大的参数量，不需要做这种理想化或理论化压缩，直接用大量参数编码规律，只做 theory-free prediction 。

参考：https://x.com/yudapearl/status/1758557230511903194?s=20

此外， 大语言模型真能“理解”语言吗？ - 知乎 也提到，大模型引出了一种对 "理解" 的新的定义，可能不能因为它和人类所理解的 "理解" 不一样就否认它能够"理解"，或许 LLM 能够从超越人类能够把握的相关性中看到因果关系，类似一种 "降维打击式" 的直觉。 但要科学地研究，需要新的测试智能和理解机制的基准和探测方法。

如果大语言模型和类似模型能以一种前所未有的规模利用统计相关性来工作，那么或许这也能被视为一种新的“理解”形式，一种能带来超人般预测能力的“理解”形式。正如 Deepmind 的 AlphaZero 和 AlphaFold 系统，它们分别在国际象棋和蛋白质结构预测的领域带来了如同“外星人”般的直觉

因此，可以提出这样的论点：近年来，人工智能领域已经创造出了具有新型理解模式的机器。

.

世界模型、系统一系统二、统计和因果问题关注的核心都是类似的。

这部分主要引用的是 {人类，今日，未来}简史的作者尤瓦尔赫拉利的观点，在简史系列书中，尤其是未来简史， 作者在最后写到：

如果把视野放大到整个生命，其他的问题或发展的重要性，都比不过以下三项彼此息息相关的发展：

1.科学正逐渐聚合于一个无所不包的教条，也就是认为所有生物都是算法，而生命则是进行数据处理。

2.智能正与意识脱钩。

3.无意识但具备高度智能的算法，可能很快就会比我们更了解我们自己。

这三项发展提出了三个关键问题，希望读者在读完本书之后，仍能常挂于心：

1.生物真的只是算法，而生命也真的只是数据处理吗？

2.智能和意识，究竟哪一个才更有价值？

3.等到无意识但具备高度智能的算法比我们更了解我们自己时，社会、政治和日常生活将会有什么变化？

在 2023 年的 The Politics of Consciousness | video lecture with Yuval Noah Harari - YouTube 视频中，尤瓦尔赫拉利更详细地谈论的意识，首先他认为：意识是承受痛苦（suffering）的能力。

意识的特点包括：

• 与政治、社会密切相关： 大部分科学研究对象都与政治保持距离，但意识研究的任何进展都会对社会政治施加影响力，因为它是法律法规、道德准则的制定的基石。例如堕胎合法性（婴儿什么时候有意识从而能感受到痛苦），各种特殊人群（自闭症，脑瘫等）的人权和政治权，动物福利等。正是由于石头，车没有意识，因此它们不是道德或政治主体，车被偷不是车感到痛苦，而是车主人。这是意识科学的特别之处。

• 意识并非客观中立，而是受到个人偏好和背景影响，与感觉或智力不同。

  研究者在探究意识时，可能会采用由简单到复杂的分析思路，比如测试不同动物或人类对颜色、温度的感知能力， 然而感知能力和意识可能很不相同。意识发生在你感觉到了某些东西，但却宁愿去感觉其他事物的情况下。 我们会有条件地选择忽视某些客观事实而导向其他信息，因为事实违反了内心的某些偏好从而抗拒现实， 但无意识对象几乎不会抗拒现实，它只是在那里和一切进行交互。 再比如说有些人对痒不敏感，可能是因为感觉相关的神经元激活阈值较高，但他的意识能力却可以很强，一旦真正感觉到痒时，对此的反应也许比一般人还要大。同样，智力和意识也是非常不同的东西，智力是解决问题的能力，意识则是对感受的体验和反应。

总之，意识问题比较复杂，我还是比较认同"意识"可以和"智能"解耦的观点，可以出现没有意识但超级强大的 AI, 因此如果目标是提高 AI 能力，大部分情况下都不需要考虑意识问题。