BERT是谷歌发布的基于双向Transformer的大规模预训练语言模型，该预训练模型能高效抽取文本信息 并应用于各种NLP任务，在11项NLP任务取得了 SOTA的效果。
它在多大程度上能表示语法知识？Yoav Goldberg针对这个问题设计了主谓一致的任务来评估BERT的句法能力。