句法结构是离散的，而神经网络的运作必须基于连续的数据；因此要想可解释性地论证神经网络能够编码句法结构，就需要论证句法结构能够被嵌入到连续的向量空间中去。本文设计了一个结构探针（structural probe），论证了BERT和ELMO等语言表征技术，在编码大量以词为单位的语义信息的同时，也编码了句法结构（即句法树）的信息，并阐述了对这个议题的一些发现与思考。

1. 使用同样的方法，可以去找其他的structure property
2. 只有edge，没有label
3. 没有考虑将范数和距离方法结合起来
4. 训练的是一个统一的线性变换，没有区分句子；虽然效果也不错，但理论上是否有偏颇？还需要深入理解