2023/6/28 17:07
谷歌：级联语言模型是通用推理系统的未来
https://mp.weixin.qq.com/s/5q7enGUeITNiXNIZeiwerg
1/10
谷歌：级联语言模型是通用推理系统的未来
文 | ZenMoore
前言
相信每个 NLPer 心中都有对 Reasoning 的一片期冀。
当初笔者进入 NLP 的大门，就是相信：由于语言强大的表达能力以及语言模型强大的建模能力，
Reasoning 一定就在不久的将来！可惜实际情况却是......[流泪]
直到我看到了 Yoshua Bengio 最近反复强调的 System 2 的概念，又重新燃起了心中的希望！
System 2 主要针对深度学习系统的 Reasoning 能力以及系统泛化(Systematic Generalization)
等 等 。 其 中 一 个 很 重 要 的 点 是 ： sparse factor graph in space of high-level semantic
variables. 结合 QA 的例子以及我浅薄的理解，这里做一些简单的解释：
1. factor graph : 从 Q 到 A 的机理，往往不是 Q -> A 这么简单，实际人类在建模 QA 的时
候，会在这条路径上增添很多很多的辅助状态以及相应的运作机理，例如 Causal Inference 中
常说的 SCM (Structural Causal Model)
2. sparse : from attention to conscious processing. 人类不会同时关注所有的状态(变量)，而
只会关注其中一些比较重要的或者相关的状态。通过这种主动的稀疏选择，在面对
distribution change 的时候，能够迅速更换另外的状态和运作机理进行适应(adaptation).
3. high-level semantic variables : 这些状态的表达，一般是一个高阶的语义变量。
在今天这篇推文里，我们主要讨论如何用语言模型（LM）实现这件事情。
ZenMoore 2022-08-22 12:05 发表于北京
原创
夕小瑶科技说
