探寻循环神经网络语言模型中的语言知识:四个案例



报告人王佳骏
报告时间2023-04-17
讨论组语法理论与语言工程
关键词循环神经网络,范畴发现,音节,单词,词类,主谓一致,动词配价,关系从句,递归
摘要或简介

本次报告介绍了 Finding structure in time(1990)和 Distributed representations, simple recurrent networks, and grammatical structure(1991)两篇文献的内容,介绍了循环神经网络的基本结构,以及在循环神经网络中探索各种语法范畴的案例,包括音节、单词、词类、主谓一致、动词配价、关系从句和递归。虽然两篇论文的发表时间相对久远,采取的技术方法和今日的技术相比略显简陋,得出的结论也需要进一步商榷,但是论文“提出的问题比回答的问题更多”,具有很强的启发性,是“探索神经网络语言模型在语言学上的可解释性”这一研究方向的奠基性工作。

发布人王佳骏
发布范围讨论组内部
讨论记录

下载次数1
浏览次数82

 登录后可执行更多操作


© CCL of   Peking University  2019