报告人 | 肖力铭 |
报告时间 | 2025-04-03 |
讨论组 | 语法理论与语言工程 |
关键词 | 大语言模型;评测方法;自问自答;空间语义异常 |
摘要或简介 | 本报告围绕“大语言模型行为一致性检测”这一主题,介绍了以“自问自答”方法来评估大语言模型的两篇文献:THE GENERATIVE AI PARADOX(West P, et al., 2023)和Reverse Question Answering(Balepur N, et al., 2024)。本报告进一步在SpaCE系列的空间信息正误判断任务上,尝试让大语言模型生成空间语义异常的文本再让模型判断。实验结果表面,大语言模型无法很好地遵循指令生成语义异常的文本,仅60%被人类判定为异常;大语言模型的生成与理解在行为上表现不一致,仅67%的自构造文本被判定为异常。 |
发布人 | 肖力铭 |
发布范围 | 全网 |
讨论记录 | |
下载次数 | 4 |
浏览次数 | 2 |
© CCL of Peking University 2019