李飞飞 (Fei-Fei Li) 论大语言模型 (LLM) 的局限性： “自然界中没有语言。你走进大自然，天上不会写下词语给你。自然界是一个遵循物理法则的 3D 世界。” 语言仅仅是生成的信号。
哥伦比亚大学计算机科学教授解释了为什么大语言模型无法生成新的科学想法。 因为大语言模型学习的是已知数据的结构化“地图”，即贝叶斯流形，并且在这个范围内表现良好，但在其外部则表现不佳。 而真正的发现意味着创造新的地图，这是大语言模型无法做到的。
一些相关的研究论文指出，AI 模型训练在语言信号上时，当任务需要具备物理常识和在有实际限制的世界中应用时，它们往往失败。
为了给她的解释提供一些背景，这个基准测试包含了75个视觉语言模型，结果显示它们在物理世界的理解上仍然存在困难。 论文将这些失败归因于缺乏物理先验知识和对物理基础数据的暴露有限。即使有图像，情况也是如此。
当前 LLMs 在处理复杂物理问题时表现差，尤其在情境变化时。 论文显示，静态问题的最佳准确率为43%，但动态问题下降22.5%，证明文本模式匹配不足以进行物理推理，支持李飞飞的观点。
语言本身不足以理解世界，因为世界由我们看到并与之互动的物理事物组成。 研究者给 AI 一些简单的视觉任务，如判断哪个物体更近或匹配不同角度的物体。人类能迅速完成，而 AI 模型却难以处理，原因在于这些任务依赖于真实的视觉和空间理解，而不仅仅是语言模式。
以上就是全部，原作者 @rohanpaul_ai 如果您喜欢这个主题： 1.关注我（@FinanceYF5） 2. 点赞+转发下面第一条帖子
