Binz, M., & Schulz, E. (2023). Using cognitive psychology to understand GPT-3. PNAS Proceedings of the National Academy of Sciences of the United States of America, 120(6), 1–10.
文章使用认识心理学的方法对于LLMs进行评测，具体从决策制定、信息检索、思考方式以及因果推断四个角度出发，采用认知心理学领域的经典实验，以提示词的形式对于GPT-3进行测试。其实验结果表明，GPT-3虽然在基于案例的实验任务中表现较好，但小幅扰动的影响较大，说明经典实验任务可能是其训练集的部分，未来应使用更新的实验任务进行进一步测试；同时，GPT-3在实验中表现出了基于模型的强化学习迹象，但在因果推理中存在极大的困难，因此对于LLMs是否具有（深度）思考能力，甚至心智等问题有待进一步讨论；另外，我们的讨论认为目前的心理学测试仍存在概念层次划分上不清晰的问题，文章中对于四个层面的评测实则界限模糊、彼此重叠，如何将“认知”、“心智”等抽象概念更具体地落实为不同的子层面、并针对性的提出测试任务，或许是人类试验和机器试验共同面对的问题。