一周前，《华尔街日报》的一篇题为“我们现在知道AI是如何思考的了 -- 它几乎没有思考，We Now Know How AI 'Thinks'— and It's Barely Thinking at All"，介绍了哈佛大学、麻省理工学院和康奈尔大学联合开展的一项研究。该研究提出了探究AI黑匣子工作机理的一种新方法，并得出了令人惊奇的结果。现简述如下。
研究者们（Keyon Vafa，Justin Chen, Ashesh Rambachan, Jon Kleinberg 和 Sendhil Mullainathan）用纽约市出租车行程的逐向转弯序列数据集，来训练大语言模型，然后评估模型在多大程度上成功“思考”出真实的街道地图。依常规指标，AI的表现出色：几乎总是正确地预测下一个转弯的方向。但他们发现，AI距离“思考”出真实的街道地图相差甚远。为可视化，他们用图重建技术来展现AI黑匣子中隐含的街道地图。结果是：AI生成的地图与实际街道地图几乎无相似之处。
