阅读列表:6

• Anirudh Goyal, Yoshua Bengio; Royal Society A 2011; Ar5iv; 181

• Grégoire Delétang, Anian Ruoss, Jordi Grau-Moya, Tim Genewein, Li Kevin Wenliang, Elliot Catt, Chris Cundy, Marcus Hutter, Shane Legg, Joel Veness, Pedro A. Ortega
• deepmind; ICLR 2023; github; Ar5iv 借用形式语言的分类法，检验各类序列模型的长度泛化能力
• Transformer升级之路：8、长度外推性与位置鲁棒性 - 科学空间|Scientific Spaces

[2307.02792v2] What Should Data Science Education Do with Large Language Models?

• Xinming Tu ， James Zou, Weijie J. Su, Linjun Zhang ; arXiv Vanity

chatgpt 改变数据科学教育和数据分析处理流程，类似从程序员到产品经理的变化， 我想到的是，这种题材也可以发论文？可能是发在教育学领域。另一方面，把这类论文推荐给做数据分析相关的朋友还是不错，至少有权威依据

[2306.12672] From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought

• Lionel Wong, Gabriel Grand, Alexander K. Lew, Noah D. Goodman, Vikash K. Mansinghka, Jacob Andreas, Joshua B. Tenenbaum
• MIT; github; Ar5iv; long warning

用 church 概率编程语言结合 gpt4

[2305.06424] Bot or Human? Detecting ChatGPT Imposters with A Single Question

• Hong Wang, Xuan Luo, Weizhi Wang, Xifeng Yan; Ar5iv;

“Low-Resource” Text Classification: A Parameter-Free Classification Method with Compressors - ACL Anthology

• Zhiying Jiang, Matthew Y.R. Yang, Mikhail Tsirlin, Raphael Tang, Jimmy Lin
• [2212.09410] Less is More: Parameter-Free Text Classification with Gzip
• U Waterloo; Ar5iv; ACL2023-finding

gzip 压缩做降维并且分类

• Raphael Tang, Linqing Liu, Akshat Pandey, Zhiying Jiang, Gefei Yang, Karun Kumar, Pontus Stenetorp, Jimmy Lin, Ferhan Ture
• Ar5iv; ACL2023 best paper

• John Hewitt, John Thickstun, Christopher D. Manning, Percy Liang
• Ar5iv; ACL2023 outstanding paper

• Kenneth Li, Aspen K. Hopkins, David Bau, Fernanda Viégas, Hanspeter Pfister, Martin Wattenberg
• Ar5iv; ICLR2023 oral

• 其中 2.6 节 Philosophy of understanding Authors: Christopher Potts, Thomas Icard, Eva Portelance, Dallas Card, Kaitlyn Zhou, John Etchemendy

• 规模更大会涌现出更多能力，因此之前研究的很多结论可能是错的，很多人证明神经网络对某些能力不行，但可能只要规模足够大，一切又都可能，以拉马努金的能力为例，可能之后 gpt 可以"心算"非常复杂的公式（毕竟人脑都能达到）。
• 人对某些问题的直觉也会随着模型变大展现出来的能力而改变
• 规模变大是一种去除 inductive bias 的过程
• 另一方面规模变大也是在探索新的 inductive bias, 比如也许接下来要去除的是损失函数这个 indcutive bias, 损失部分也逐渐参数化。因为 HFRL 就是用更广泛的回报损失作为训练目标，而不是下一个词的预测。