讲题：语言学视角下的语言模型知识诊断与可解释性探索 主讲人：胡韧奋（北京师范大学国际中文教育学院） 主持人：詹卫东（北京大学中文系） 时间：2024年12月4日下午14：00 - 16：00 地点：北京大学理科1号楼1453会议室 内容提要： 近年来，预训练语言模型技术得到了飞速发展，但其知识编码和决策机制仍然缺乏透明度和解释性。本次报告将结合案例讨论如何利用语言学知识构建诊断任务，以分析模型的性能和决策依据。首先，我们从句法、语义、事实和常识四个维度设计了基于提示和相似度的“探针”任务，用于评测预训练语言模型的知识水平，并揭示模型在微调前后的知识获取与遗忘现象。其次，我们以语言学知识为指导生成了不同类型的反事实样本，通过反事实干预方法探究不同模型（如BERT、GPT-4、Llama-3 等）在作文自动评分任务中的决策机制，并分析其与人类评分依据的一致性和差异性。最后，报告将展望语言学与语言模型的双向赋能前景。 讲者简介： 胡韧奋博士，研究方向为计算语言学、计算机辅助语言教学、古汉语信息处理，北京师范大学国际中文教育学院数字人文系副教授。主持国家社科基金青年项目、国家自科基金青年项目、北京市社科重点项目及多项企业委托课题，在国内外高水平刊物和计算机领域顶会发表学术论文40余篇，获国家发明专利授权6项，指导研究生三次获得中国计算语言学大会最佳论文奖项，主持或作为核心成员构建了中文词向量资源库、CCA中文搭配助手、古汉语词义标注语料库、通假字资源库、“诗词别苑”“AI太炎”等资源和应用。