| 报告人 | 肖力铭 |
| 报告时间 | 2025-04-03 |
| 讨论组 | 语法理论与语言工程 |
| 关键词 | 大语言模型;评测方法;自问自答;空间语义异常 |
| 摘要或简介 | 本报告围绕“大语言模型行为一致性检测”这一主题,介绍了以“自问自答”方法来评估大语言模型的两篇文献:THE GENERATIVE AI PARADOX(West P, et al., 2023)和Reverse Question Answering(Balepur N, et al., 2024)。本报告进一步在SpaCE系列的空间信息正误判断任务上,尝试让大语言模型生成空间语义异常的文本再让模型判断。实验结果表面,大语言模型无法很好地遵循指令生成语义异常的文本,仅60%被人类判定为异常;大语言模型的生成与理解在行为上表现不一致,仅67%的自构造文本被判定为异常。 |
| 发布人 | 肖力铭 |
| 发布范围 | 全网 |
| 讨论记录 | |
| 下载次数 | 40 |
| 浏览次数 | 17 |
© CCL of Peking University 2019