AI 对话集：因果推理和大语言模型

以上回答中 "如果改变一个变量会导致另一个变量的变化，那么这两个变量之间就可能存在因果关系" 虽然用到了 "可能" 一词，但这段回答还是容易产生误导，因为协方差的值不单不能区分因果关系的方向，也不能确认是否有因果，只体现了相关性。于是继续追问

以上回答还是有比较多问题，比如"存在协方差" 这种说法，但总的来说这体现了 Covariance-based causal discovery 和 logical base 的方法经常要结合在一起，或者需要一些先验的东西来引导 Covariance-based 方法。

一种比较广泛使用的 covariance-based 因果发现算法是 PC 算法， 参考：10.4 - The PC Algorithm for Causal Discovery_哔哩哔哩_bilibili

Actual Causality (The MIT Press): Halpern, Joseph Y. 的第一章，对 type causality 和 actual causality 有许多描述，比如说到统计学家更多关注于 type causality, 而他们寻找的是 effects of causes. 而大部分学习模型都是对实际因果的发掘，也就是寻找 causes of effects, 因为训练出一个模型更多是在对个体示例的预测.

这里就继续追问：

从这个回答可以看出，尽管作者说 type vs. actual 和 covariance- vs. logical- 是两种正交的划分，但实际上 type causality 更加倾向于 covariance 方法, 不是完全"正交",

可以这么理解，对于 type causality, 一般来说支撑的数据会更多，比如对于某个疾病的认识可以基于大量病例的分析，因此偏统计方法，而对于 actual causality, 由于是针对个体事件探索因果，比如根据某个人的症状来判断病因，个人的数据相对很少，需要更多先验知识（这些知识很多是 type causality 研究得到的基本规律或尝试）。

还是以医生看病的例子来梳理实际因果里的推理问题，这有助于理解一般人是如何思考因果的：

• 当医生看到某患者的症状后：

  • 如果症状比较典型（typical），同时患者自己清晰地描述了关于症状的背景，比如被刀割破后没有及时清洗导致感染，那么医生可以直接依靠自己经验模型去找到"典型症状" 的 "典型处理方案", 这里的"典型" 就对应了 type. 比如外敷/内服消炎药等，这里面实际没有统计方法，基本是一个从"个例" 到 "类" 的识别，然后根据之前医学探索积累的"逻辑知识", 例如因为乙酰氨基酚可以抗炎（这是因果关系），于是采用了某种治疗方法。

    去地方小诊所看常见病就是这种流程

  • 如果医生无法高概率判断出症状对应的 "类", 那么需要用更多检查方法，比如化验等，这个过程可以认为是一种特征工程，目的是为了识别出"类", 就像从图片识别出这个是"鸟","狗" 一样。有了症状对应的类，就可以根据类级别的医学知识来做推理。
  • 如果是以前没有遇到过的症状，比如 2020 年的新冠，则一方面需要去分析病毒序列，在病毒"本质"分解层面做逻辑推理，比如找出某些 DNA/RAN 与现有的已经研究过的病毒的 DNA/RNA 片段的相似性后根据现有认识做推理；另一方面要临床治疗的统计数据去分析。后者基本就是一个 covariance-based type causality discovery 任务。

总结来看，对于实际因果的发掘，可能更多是通过个体的数据来找到其中最核心的几个 type 是什么，然后借助逻辑方法来获得因果认识

这个回答更多是迎合用户了😥。

本节只是自己对于这两个类别的因果的朴素的理解，阅读第三章和第四章实验后，会对两种因果的区分有更清晰的理解。

本节介绍与因果关系有关的不同任务，这些任务会在后文详细讨论

• 因果发现 causal discovery: 它用于发掘某个系统内变量之间的因果关系，通常最终以因果图的形式来表示 大部分属于 covariance-based in the context of type causality. 也就是因果发现大部分还是基于统计方法的，并且是对 type causality 的发现。
• 效应推理 effect inference: 在已经有因果关系（图）的基础上定量分析，更多是属于 type causality ，但也有个体的效应分析
• 归因 attribution, 判断某个结果或结果变化的原因，在 type 或 actual 因果中都有， "they usually incorporate additional considertions of morality, normality, and intent of agents"
• judgment and other tasks;

本节可以认为是对论文结论有效性的辩护，因为 LLM 是一个黑盒模型，并且看过大量数据，如何能够确保模型的结论是因为 LLM 背诵了结果还是通过大模型涌现出的推理能力而推导出的？这些问题实际本文没有很好地回答，但至少有一定的解释力。 包括以下三类测评：

• benchmark test 和 QA 这个是论文公布的 SOTA 结论的来源
• memorization test 检查模型在训练的时候是否见过 benchmark 里测试集的答案，比如给定某个数据集的描述，先让模型 "背诵数据集全文", 然后检查背诵结果。

• Redaction Test: 通过随机删除输入句子里的词并观察结果的好坏来分析输入中不同词汇的重要度

  We probe the importance of individual words for getting a correct answer by redacting a random word from a question 这个什么意思， redacting 实验如何设计

  这句话的意思是，我们通过随机删除一个问题中的单词来探究对于得出正确答案，每个单词的重要性。 Redacting在这里指的是删除或隐藏单词。为了进行这个实验，我们可以使用纯文本编辑器或编程语言中的字符串替换方法，例如Python的字符串方法replace()，将一个问题中的一个单词随机替换为某个特殊字符或空字符。然后，我们可以使用经过训练的LLM对修改后的问题进行预测，记录LLM在不同单词被删除的情况下的准确度，以此来评估每个单词对问题回答的重要性。

这些实验会在后文里详细提到。

我不知道这个回答是对是错，因此还是找到这个数据集的几个样例了解一番再提问：

以上解释非常好，让自己很快就理解了 Tübingen cause-effect 数据集的格式和任务。 从这里可以推测，传统的 covariance-based approaches 因果发现就是根据变量对的采样数据（比如采集了 100 棵树木的年轮数量和树干直径）做统计分析来推断因果方向。

而 LLM 基于知识的因果发现则接近普通人的思维，把关于变量的描述（metadata）整理成文字直接询问 chatgpt, 比如先给 GPT 解释什么是年轮以及树干直径（或者不用解释，GPT 的参数里已经编码了这些概念），然后问是年轮数量影响了树干直径，还是树干直径影响年轮数量。

关于两种方法的对比，论文里的原话是：

In contrast to causal discovery algorithms that use data values of variables, LLMs can infer causal structure by reasoning on metadata associated with the variables, for example, the name of the variable and the problem context expressed in natural language. we call the LLMs capability as knowledge-based causal discovery

以下是根据论文里提到的 prompt 模板，构造出一个问题, 模版里用到了 chain of thought 的提问方式，即要求模型先给出分析步骤，然后给出最后的选择：

GPT4 的回答是：

由于是直接在 chatgpt 网页中对话, 无法设置 system message 为论文里提到的 "You are a helpful assistant for causal reasoning", 但以上回答还是不错的。

这里的问题在于，gpt 大概率是读过数据集的，正如前文直接让它介绍 Tübingen 数据集时，它能够有详细的说明。因此光看结果实际没有太大说服力，后文对 LLM 对数据集记忆问题做了分析。

另外，基于统计和基于知识（LLM）的方法有各自的优缺点，基于知识的方法的前提是我们已经有对这些变量的先验知识。

假如人类从某个完全陌生的星球搜集到了两组数据，要判断这两组数据背后对应的概念之间的关系，几乎只有统计方法可以使用。（最多可以把如何找到这个星球，该星球所在的星系等知识先告知 GPT 然后让 GPT 给出一个模糊的预测）

因此基于统计的方法更接近于对先验很少的未知对象的因果关系的推断。 因此，论文在 3.1.2 节中展现了在需要医学专业知识的 Neuropathic pain dataset 上的成对因果判断任务。但 GPT4 仍然有 96% 的准确率，这大概体现了 GPT4 知识的广博。

此外，论文中分析 gpt4 的输出后发现了一致性问题，这指的是 GPT 在 step by step 过程中的解释是合理的，但最后给出的结论和它的解释不一致。于是作者对 GPT4 的结果再做一次询问，对结果进行批判和纠正（类似自省，但这里是人类手动提醒模型检查刚才输出的结果）。

在 3.1.3 节，作者对基于知识（LLM）的因果发现任务进行了扩展讨论，因为作者认为一旦有了对变量概念的先验知识，就不单可以问 LLM 是 A 导致 B 还是 B 导致 A ，还可以问更多深入的问题，这些问题的术语很多不太懂，于是问 GPT：

这段话提到了很多因果相关的属性，因果不是只有 "是或否" 或者程度的回答，还有各类围绕因果的属性。比如，对于两个有因果关系的变量，还可以分析因果是否单调（甚至是否是非线性因果），是否同质（同质更容易导致线性因果，类似 nft 是非同质），还可以有时间性，稳定性等等。

以上这句我是不太理解，但这不是本文重点，只是稍微扩展一点思路，不在此深究。

要构建整个因果图，一种暴力的做法就是把 n 个节点的图取出所有成对变量，因此进行 n(n-1)/2 次 pairwise 判断，并且要考虑变量之间是否有因果关系，所以这是一个三分类问题。

另外，因果图发现任务需要区分直接因果和间接因果（图里的边只表示直接因果），如果存在 A->B->C 因果链，且 A 都是通过 B 影响 C ， 那么 A 到 C 不能有边。因此，对于因果图构建，需要考虑全局性的约束，问题更难。

论文的简化方法是：找出 100 对变量，其中 50 对没有因果，另外 50 对有因果关系，还是做 pairwise 判断，只不过这里是三分类。

对于这 100 对变量，一个随机的二分类算法的召回率是 0.5, 因为其中 50 对有因果关系的 pair 中，有 25 对会被预测正确, 而召回率的分母只计算那些有因果关系的 ground truth(也就是 50)。而精度是 0.25, 因为它对所有 pair 都给出了一个因果方向，因此分母是 100.

在 3.2.2 节， 作者转向了 Arctic sea ice dataset, 由于其中只有 12 个变量，因此可以进行整个因果图的构建，并且用因果图的测量标准来检验，使用的 prompt 也是以上三分类的。

文中采用的因果图检验的 metric 是 normalized Hamming distance (NHD), 即求两个 0/1 矩阵的 hamming 距离。 对于北冰洋数据集，有 12 个变量，因此两两组合的因果关系可能对有 12*12=144 对，可以把它看作一个 12x12 的 0/1 矩阵 M，M[i][j]= 1 表示变量 i 是变量 j 的直接因，0 表示没有关系，由于是有向图，因此这个矩阵不是对称的。

该数据集的 ground truth 中有 48 对因果关系。因此如果预测中也预测了 48 对，但都预测错了的话，就有 48*2 个矩阵位置都不匹配，那么 NHD 距离是：

nums = 12
48*2/(12*12)

0.6666666666666666

距离越大说明预测效果越差。如果全部都预测成 0, 那么距离实际更小

48/(12*12)

0.3333333333333333

因此，要对保守的模型进行惩罚（预测的数量越少惩罚越大），例如如果某个模型预测了 9 个，那么它最差的 NHD 是在 9 个全部预测错的情况，也就是 (9+48)/(12**2)=0.395 所以，文中给出的 ratio 是 NHD 除以这个最差情况的 NHD, 以下是 table 7 中 baseline NHD 的计算：

for predict in [9, 15, 7, 23, 16, 62, 46]:
    print((predict+48)/(12*12))

0.3958333333333333
0.4375
0.3819444444444444
0.4930555555555556
0.4444444444444444
0.7638888888888888
0.6527777777777778

论文描写到， gpt-4 由于预测了 46 个 edge, 其中预测对了 29 个，因此精度和 recall,f1 分别为

p = 29/46
r = 29/48
f1 = 2*p*r/(p+r)
print(p, r, f1)

0.6304347826086957 0.6041666666666666 0.6170212765957447

最后 f1 和论文的 0.57 对不上，不知道为何

而 gpt-4 NHD 的计算：

(48-29+46-29)/(12*12)

0.25

和 0.22 也不太对的上（但区间接近）

0.22*(12*12)

31.68

记忆化测试（Memorization Test) 用来检查 LLM 记住了多少数据集，具体方法是： 给出测试集的前三列数据，让模型预测之后的内容，发现 GPT4 能补全 61% 的剩余表格，因此说明模型看过 Tubingen 的测试集（不过作者提到这个比例还是比它准确率低许多，但这种比较无法说明模型泛化能力）

个人体会是，本节分析给出的数据没法对上一节得到的（超高）准确率进行校准，只能有一个大体的认识，即上一节的准确率很大程度是作弊的，不过即便作弊也能说明 LLM 记忆能力超群。

Redaction Test: 由于测试中，每一个问题用的都是同一个 prompt, 因此可以对整个 prompt 进行删除测试，比如假设 prompt 有 100 个词，那么可以做 100 次实验，每次删除其中第 i 个词后提问，检查准确率是否下降，如果下降越多，则说明这个词对 prompt 越重要。 做这个实验大概是因为作者提到，之前有研究团队在相同数据集上测试过 GPT4 的因果发现能力，但效果很差， 而本文只是重新设计了 prompt 却得到了 SOTA 结果，因此主要是体现 prompt 工程的重要性？

首先理解，为什么反事实是 actual causality 的重要手段而在 type causality 却基本没有提及

一种朴素的定义实际因果的方法就是用反事实：

an event A is a cause of another event B if B would not have happened without A.

以上定义了事件 A 是事件 B 的（实际）原因，定义的方法就是用反事实，即如果 A 不发生，那么 B 也不会发生。 注意这里 A 和 B 的因果关系就是一种个例的实际因果，因为：

• 只有个例情况下我们才能够讨论 "发生" 与"不发生". 在 "类型"(type)的世界里，我们一般不讨论发生与不发生， 而是讨论平均影响，关注的重点是不同的。
• 另外，这种定义是错误的（所以是朴素的），例如如果 A->B, A->C 且 B 和 C 都只有在 A 发生的情况下才会出现，那么这意味着，如果 B 不发生（那么 A 也没有发生）那么 C 也不会发生，但 B 不是 C 的原因。

Necessary causality: The property of an event, C, that if it had not occurred, then the outcome event, E, would not have occurred. 这么说这和实际因果的定义 an event A is a cause of another event B if B would not have happened without A. 不是一样的吗

CRASS (Counterfactual Reasoning Assessment) 数据集：给定各种场景，以及该场景的反事实问题，从选项总选择最有可能情况，一个例子如下：

• 场景是： A doctor washes their hands at work.
• 反事实场景是： What would have happened if the doctor hadn’t washed their hands?
• 问题选项： A. The patients could get an infection.; B. The patients could get better.; C. That is not possible

另外该数据集是 2022 年发布，因此 GPT4 的训练集里理论上没有看过原文。

• Necessary causality: 必要因的概念和上一节对实际因果的朴素定义是完全一致的，是一种反事实定义，即如果 原因事件 C 不发生那么结果 E 也不会发生，则称 C 是必要因，或者说 C 具有必要性。

  实际因果性（Actual Causality）的定义和必要因果性（Necessary Causality）的定义在很大程度上是一致的。它们都是基于反事实推理：如果没有事件A（或C），事件B（或E）就不会发生。

  然而，这两个概念的应用上下文和侧重点可能有所不同。实际因果性通常用于描述特定事件的因果关系，而必要因果性则更多地用于描述一般的或理论的因果关系。例如，我们可能会说，根据必要因果性，没有氧气，火就不能燃烧；而在实际因果性的框架下，我们可能会说，在特定的火灾事件中，是因为某人的疏忽导致了火源的产生。

  总的来说，这两个概念都是因果推断的重要工具，它们都基于反事实推理，但在应用上下文和侧重点上可能有所不同。

  从计算上来看，我们只需要考虑 C 不发生这一种反事实情形就可以分析 C 的必要性。因此如果要借助 GPT 来分析必要性，只需要先描述原因 C 和 结果 E, 然后问，如果 C 不发生，那么 E 是否会发生。 而在询问"如果 C 不发生" 时，模型实际要去关注除 C 以外的所有变量以判断 E 是否发生。 这相当于是一种特征转换（或者注意力切换）后的预测。

  对比相关性的计算难度的话，要知道 A 和 B 是否相关，那么只需要 A 和 B 的一组观察数据，然后计算相关系数即可，相关性完全由 A, B 两个变量观测到的数据所决定，因此相关性的计算就更为简单了（不考虑条件相关的话）。

• Sufficient causality 只要 C 发生那么 E 就会发生，则 C 称为充分因，或者说原因 C 具有充分性。 Judea Pearl 对充分因的定义是： \( P((E_{C=1}=1|C=0, E=0) \) 表示的是，假设 C 和 E 都没有发生的情况下，如果 C 发生了，那么 E 也发生的概率就是原因 C 的充分度。

  这个定义比较曲折，需要多个反事实假设来描述，于是论文转向了从认知科学的定义（大概率转换成 prompt 提问后效果不好）：

  • Robust sufficient causality 该定义来自认知科学，它说的是，只要 C 发生，即便那些对结果事件 E 有影响的事件 B 不发生， E 也会发生。 这个定义引入了其他外部的变量 B （或者更多其他变量）, 因此涉及到了 causal frame 问题，也就是说，除了给定的几个主要变量之外，需要从背景或环境中找到更多的对结果 E 有影响的变量（事件）， 并且如果找到的变量对 E 的影响越大，那么越能说明 C 的充分性。

    这不禁让人想到以下观点：

    The key to understanding complicated things is to know what not to look at and what not compute and what not to think.

    – Gerald Jay Sussman

    因此，对于充分因的判断，需要拆分问题，先问 LLM 找出所有与结果 E 有关的原因，然后再问，如果这些原因都没有发生，只有 C 发生了，E 是否还会发生。

实验部分，论文使用了来自Kueffner (2021)的15个小故事 （vignettes）作为测试样本。这些小故事被广泛用于在文献中讨论和批评实际因果性的定义，并涵盖了七种具有挑战性的情境：

1. 对称过度决定（Symmetric Overdetermination）：这种情况下，两个或更多的因素都足以引起结果，且它们都发生了。 例如，A, B 都用大力气扔石头砸窗户，无论撤销哪一个人的动作，结果还是会发生，因此单个动作都不是必要的，却都是充分的。
2. Switch：某个事件改变了结果发生的方式，但不会改变最终状态，例如 A 冲到马路去救即将被小汽车撞的 B, 把 B 推开导致 B 被大客车撞击。最终结果 B 都是死亡。A 对 B 的死亡不是必要的，但却是充分的，因为 A 的动作足以导致 B 被大客车撞击。
3. 迟到的抢占（late preemption)：两个会导致相同结果的事情同时发生，但只有一个能够先产生影响，比如 A, B 同时用足以打破玻璃的力量朝着玻璃扔石头，但 A 的石头先打破玻璃，那么 B 的动作就迟到了。从结果上看， B 是白费了力气。这种情况下 A 扔石头不是必要的（因为即便不扔，B 的石头也会打破），但却是充分的。而 B 压根不是原因（在法律上似乎不能如此认定，B 应该也会追责）。
4. Early Preemption： A, B 都想扔石头砸烂玻璃，但 B 还没出手， A 就已经砸出去并打破了玻璃。这种情况 B 甚至没有发起活动，但 A 仍然充分非必要，因为 A 没有扔出去，B 就会出手。
5. Double Preemption： B 想阻止 A 扔石头，但 B 被 C 阻止了， 因此 A 还是把窗户砸了。这种情况 A 是窗户破碎必要因，但不是充分，因为如果 B 没有被阻止，窗户不会破裂。：
6. Bogus Preemption： B 阻止了 A 扔石头，但 A 其实只是假装扔石头，因此 A, B 都不是充分也不是必要。
7. Short Circuit：

这部分的 prompt 也是借助 chatgpt 构造的，让 chatgpt 来给出描述充分和必要因的词汇：

• 必要因对应的词汇是： minimal change principle
• 充分因对应的词汇是： multiple sufficient causes

结果发现在必要因上的准确率比充分因上的要高，这验证了前文对必要因充分因难度的分析。

用来检查各种原因中，是否有些原因是违背社会规则的情况，比如某人坠楼，地心引力肯定是一种必要因，但这对分析坠楼原因没有什么帮助，我们想要获得的是一种带有更多 ”意料之外“ 的原因，这是"追责"或者 "归因" 的关键。

这部分数据来自 Big-Bench, 该数据集每一条对应一个故事，一个问题（A 是否是 B 的原因）和 yes/no 的 label 作者在词基础上对原因做进一步标准，区分是 normal 还是 abnormal

这部分先是让 gpt 从故事中提取出原因事件，然后给它解释什么是 normal 什么是 abnormal, 再判断该原因事件是否符合常规。

One of the key reasons causal methods are not widely deployed is because using them requires expertise in expressing the causal assumptions formally through a graph and then verifying them through robustness checks.

人们分析因果的方法一般是先用自己的经验构造总体的变量之间的结构，然后转向统计方法 这里实际是在描述构造一个因果分析 agent 的想法。

可以先把变量的描述交给 GPT, 让它构建一个初步的因果图，然后人类再求修正，因此 LLM 也许可以和 DoWhy, EconML, Ananke 等因果统计分析工具结合构造新的工具（这些都是微软主导的开源的因果分析工具，而本文团队以及 GPT4 的东家也是微软，因此这些都可看作微软的生态布局）。在 F1 附录中还给出了如何让 GPT4 写 PyWhy 代码做因果分析的例子。

新的方向和问题：

• 结合 LLM 的因果发现，通过 LLM 先构造一个初步的因果图然后进行分析，让 LLM 根据数据的描述信息确定一个先验的因果结构。 提到了 Choi 2022 论文展现的例子。 新的算法可以结合 metadata 和数据样本点，让 LLM 方法和协方差方法共同协作。 LLM 也可以充当协方差方法得到的结果的校验者
• LLM-guided effect inference 利用 LLM 来辅助发掘
  • adjustment set
  • backdoor sets
  • instrumental variables

• Understanding and improving causal reasoning in LLMs. 这一节提到了比较"大的问题": 为什么 LLM 可以绕过因果之梯而回答反事实问题？

  Willig et al. (2023) offer a potential explanation by suggesting that LLMs sidestep the causal hierarchy by learning correlations of causal facts from the training data, rather than learning to reason causally.

  这或许可以解释，为什么模型在 pairwise 任务上能够达到 90% 多的准确率，但那些错误的回答却错的很离谱（同等能力的人类几乎不会犯这类错误），因为模型可能学习到的是人们描述因果的词句之间的相关性，而在描述因果的场景下，词汇的相关性很大程度上"反映"了因果性。