面向大语言模型的“自问自答”式评测研究



报告人肖力铭
报告时间2025-04-03
讨论组语法理论与语言工程
关键词大语言模型;评测方法;自问自答;空间语义异常
摘要或简介

本报告围绕“大语言模型行为一致性检测”这一主题,介绍了以“自问自答”方法来评估大语言模型的两篇文献:THE GENERATIVE AI PARADOX(West P, et al., 2023)和Reverse Question Answering(Balepur N, et al., 2024)。本报告进一步在SpaCE系列的空间信息正误判断任务上,尝试让大语言模型生成空间语义异常的文本再让模型判断。实验结果表面,大语言模型无法很好地遵循指令生成语义异常的文本,仅60%被人类判定为异常;大语言模型的生成与理解在行为上表现不一致,仅67%的自构造文本被判定为异常。

发布人肖力铭
发布范围全网
讨论记录

下载次数4
浏览次数2

下载文献(1.4 MB) 查看幻灯片(1.4 MB)  登录后可执行更多操作


© CCL of   Peking University  2019