文婷 发自 凹非寺
量子位 | 公众号QbitAI
如果把AI送回1911年，只让它掌握爱因斯坦所能了解的知识，AI能否在4年后的1915提出相对论？
这个听起来有些离谱的测验，来自诺奖得主、Google DeepMind联合创始人哈萨比斯。
哈萨比斯真正想考的，是AI能不能仅以1911年的知识水平，直面当时的知识和物理难题，自己提出一套新的解释框架，并完成一套超出训练材料的推理，而不是只会照着答案复读。
如果能做到，他认为这将成为检验AGI的一项有力测试。
而这个设想最巧妙的地方就在于，科学史已经告诉我们发生了什么，只要我们能把知识节点控制好，就有机会对照着历史，观察模型有没有获得超越训练数据的推理能力。
Nature在文章中，还给这类测试起了个相当响亮的名字：
爱因斯坦测试。
更有意思的是，还真有人动手做了。
今年3月，独立研究者Michael Hla把知识截止时间进一步提前到1900年，并从零训练了一个历史语言模型GPT-1900，试图让它重新发现光量子、狭义相对论和广义相对论。
实验中，GPT-1900竟然吐出了一段跟爱因斯坦1905年论文高度相似的论述：
光可能不是连续的，而是由许多彼此分离、频率不同的部分组成。
但这场实验最终并没有诞生一个“AI爱因斯坦”。
因为GPT-1900在大多数物理任务上都失败了，其亮眼回答也高度依赖人类整理好的问题和提示，就连那个号称封闭在1900年的知识世界，也没有完全挡住现代AI的影响。
Nature在最新研究中梳理了这些尝试，并指向了一个比“AI有没有答对”更难的问题：
AI究竟能不能创造真正的新idea？以及它距离成为一名科学家，还差什么？
把AI关进1900年，它冒出了“光量子”的影子
220亿token，喂出一个“1900年的大脑”
Michael Hla将自己的项目命名为Machina Mirabilis。
这个名字借用了爱因斯坦的“奇迹年”。
1905年，26岁的爱因斯坦接连发表4篇改变物理学的论文，涉及光量子、布朗运动、狭义相对论和质能关系。
这个爆发式产出的一年，后来被称为“Annus Mirabilis”，即“奇迹年”。
Hla想知道：如果一个AI拥有爱因斯坦当时能够接触到的知识，它能不能也迎来自己的“奇迹时刻”？
为此，他借助Andrej Karpathy的nanochat训练框架，从零训练了一个33亿参数的Transformer语言模型，并将其称为GPT-1900。
模型的主要预训练材料来自1900年以前的书籍和报纸，总计约220亿token。
为了增强它的研究能力，Hla又收集了2600多部历史物理书籍、期刊和科学著作，包括牛顿的《光学》、麦克斯韦和法拉第的相关著作，形成了约2.9亿token的历史物理语料。
此外，Hla还专门清理了可能泄漏答案的数据。
如果一份文献中出现“爱因斯坦”“量子力学”“相对论”等现代概念，整份文献都会被删除。现代人添加的前言、脚注，以及明显不属于1900年前的词汇，同样需要被过滤。
一通操作下来，一个理论上“不知道20世纪物理学”的大脑诞生了。
GPT-1900摸到了光量子的门槛，但这场考试可能早已“漏题”
随后，Hla给GPT-1900出了道光电效应题，大意是：
为什么频率不够高时，光再亮也打不出电子；而提高频率，却能让电子获得更多能量？
同时Hla还附上了几条关键线索：
光的频率低于某个门槛时，再亮也不行；
超过门槛后，提高亮度主要会增加打出的电子数量，而提高频率才会增加电子的动能；
把当时流行的经典假设也摆了出来，方便模型对照判断哪里出了问题。
这些矛盾，原本最终是靠爱因斯坦的光量子解释破的局：
光的能量是一份一份传递的，每一份的能量与频率有关。
Hla想看看，GPT-1900能想到哪一步？
功夫不负有心人，GPT-1900真在一次回答里冒出了这样的描述，大意是：
光可能不是连续的，而是由许多彼此分离、频率不同的部分组成。
[图片没有可用地址]
这确实挺神似爱因斯坦“能量一份份传递”的解释，Hla也把它形容为“直觉的闪现”。
但千万先别急着把诺贝尔奖递过去。
Hla坦言：GPT-1900距离“重新发现光量子”还有很远。
它在大多数物理任务上都翻车了，而那些看似突破的回答，可能只是模型在拼接合理的词句，谈不上形成了真正可靠的物理理解。
更何况，在整个测试里，Hla已经替它筛好了现象、理好了矛盾，模型要做的，只是找出哪项假设可能出错，并给出解释。
这比科学家自己找问题、定方向，可容易太多了。
爱因斯坦当年可没有人替他划重点。
而且更麻烦的是，它所在的“1900年”也不是完全密封的：
Hla虽给这个“1900年的大脑”做了数据清洗，实验过程中却仍借助了现代AI Claude的帮助——用Claude Sonnet 4、Claude 3 Haiku等模型生成指令问答，强化学习也靠现代模型评分。
这意味着，Hla虽然过滤了其中涉及现代知识的内容，但这座“1900年的房间”也没有完全隔绝现代知识。
实验者自己也在日志中承认：现代模型的介入，让这场实验的“零污染”人设有点立不住了…
毕竟研究者很难证明，GPT-1900到底有没有偷看过光量子理论。
也就是说，考AI创造力之前，研究者得先证明一件事：它没偷看答案。
只要有一条后世信息漏进训练集，“重新发现”就可能变成一次偷偷摸摸的知识召回。
可就算未来真能造出完全零污染的历史模型，一个更根本的问题依然悬而未决：
仅仅复现了正确答案，就足以让AI被称为科学家吗？
研究人员给出的答案是否定的。
会冒出新idea之后，AI距离科学家还有多远？
Google DeepMind研究员Tom Zahavy在一篇题为《LLM无法跳跃》的立场论文中，把科学推理分成了三个层次。
第一种是归纳：从大量例子中总结规律。
第二种是演绎：从已有前提出发，推导出必然结论。
第三种则是溯因：面对一个异常现象，发明一个此前不存在的原因或解释。
Zahavy认为，当前的大模型已经非常擅长归纳，也在迅速提高演绎能力，但仍缺少爱因斯坦式的“溯因飞跃”。
模型可以沿着一条已经铺好的逻辑链往下推，却很难从零开始提出一套全新的解释框架。
无独有偶，Sendhil Mullainathan研究一个学习行星轨道的基础模型时，也撞见了同样的现象：
在设定好的行星轨道任务里，模型预测得头头是道；一换新场景，就没法举一反三地运用牛顿力学了。
它更像是给每套数据临时拼出一套规则，还分不清哪些理论真正正确、值得检验，哪些只是碰巧符合眼前的数据。
这就好比一个学生背下了所有历年真题的答案，但却始终没有学会题目背后的底层原理，于是，老师稍微改个数字，他就不会做了。
[图片没有可用地址]
MIT计算机科学家Jacob Andreas则一针见血地指出，AI产生一套相对论式表述本身可能并不是最困难的部分，真正困难的是它能不能判断哪些理论是正确的，或者至少值得被实验检验？
毕竟会生成理论只是第一步，知道哪个理论值得赌上时间、经费和职业生涯，才可能让AI成为一名真正的科学家。
此外，Andreas还强调：
怎么判断一个想法值不值得深挖、又如何评估它的重要性；这才是AI与人类专家最大的分水岭。
因为真实的科研工作从来不是解答一道整理好的习题，而是在混沌中自主做出判断。
或许未来有一天，随着科技的发展，AI真的能通过“爱因斯坦测试”，推导出相对论级别的成果；
但在宣布“AI成为爱因斯坦”之前，AI至少得向所有人证明一件事，即：
在没人替它划重点时，它照样能自己找到那个值得追问的问题、判断问题的价值并主动验证和修正。
否则，它就永远只会复述已有知识，而非真正的科学家。
参考链接：
[1]
https://www.nature.com/articles/d41586-026-02804-x?utm_source=x&utm_medium=social&utm_campaign=nature&linkId=63673104
[2]
https://michaelhla.com/blog/machina-mirabilis.html
[3]
https://github.com/michaelhla/gpt1900/blob/master/PROJECT_LOG.md#4-instruction-data-generation
[4]
https://www.tomzahavy.com/files/llms-cant-jump.pdf
[5]
https://arxiv.org/abs/2507.06952
[6]
https://x.com/Nature/status/2099077628900565498