Qu'apporte BERT à l'analyse syntaxique en constituants discontinus ? Une suite de tests pour évaluer les prédictions de structures syntaxiques discontinues en anglais (What does BERT contribute to discontinuous constituency parsing ? A test suite to evaluate discontinuous constituency structure predictions in English).

Cet article propose d’analyser les apports d’un modele de langue pre-entraine de type BERT (bidirectional encoder representations from transformers) a l’analyse syntaxique en constituants discontinus en anglais (PTB, Penn Treebank). Pour cela, nous realisons une comparaison des erreurs d’un analyseur syntaxique dans deux configurations (i) avec un acces a BERT affine lors de l’apprentissage (ii) sans acces a BERT (modele n’utilisant que les donnees d’entrainement). Cette comparaison s’appuie sur la construction d’une suite de tests que nous rendons publique. Nous annotons les phrases de la section de validation du Penn Treebank avec des informations sur les phenomenes syntaxiques a l’origine des discontinuites. Ces annotations nous permettent de realiser une evaluation fine des capacites syntaxiques de l’analyseur pour chaque phenomene cible. Nous montrons que malgre l’apport de BERT a la qualite des analyses (jusqu’a 95 en F1 ), certains phenomenes complexes ne sont toujours pas analyses de maniere satisfaisante.