Révisions

Table of Contents 

Nous donnons ici quelques éléments d'information sur les performances de FRMG, en terme de qualité sur divers corpus de test et métriques. Nous fournissons également des informations sur le taux de couverture par analyses complètes, sur divers styles de corpus. Enfin, même si ce n'est qu'indicatif, des informations sur les vitesses d'analyse, désambiguisation, et conversion.

  • [1]
  • [2]
  • [3] premiers résultats pour FRMG sur le corpus EASy

Le tableau suivant, issu de [1], donne des éléments d'évaluation de FRMG sur divers treebanks (FrenchTreeBank, Sequoia, EasyDev), pour divers schéma d'annotation (schéma FTB pour FTB et Sequoia; schéma Easy/Passage pour EasyDev) et avec 2 métriques (LAS pour le schéma FTB; F1-mesure sur les relations pour EasyDev). Les résultats, au moins sur le FTB, peuvent être comparés avec les ceux obtenus par des analyseurs syntaxiques (Berkely, MALT, et MST) entraînés sur la partie FTB train (voir cette page pour plus d'information).

Performances de FRMG, contrastées avec quelques analyseurs statistiques
French TreeBank Autres Corpus
Analyseurs Train Dev Test Sequoia EasyDev
FRMG base 79.95 80.85 82.08 81.13 65.92
+restr 80.67 81.72 83.01 81.72 66.33
+tuning 86.60 85.98 87.17 84.56 99.23
2014/01 86.20 87.49
Autres Systèmes Berkeley 86.50 86.80
MALT 86/90 87.30
MST Parser 87.50 88.20

Améliorations grâce à l'utilisation de techniques de fouilles d'erreurs [4] sur les échecs d'analyse de gros corpus.

Références

  1. É. de La Clergerie, Sagot, B., Nicolas, L., et Guénot, M. - L., « FRMG: évolutions d'un analyseur syntaxique TAG du français », in Journée de l'ATALA sur : Quels analyseurs syntaxiques pour le français ?, Paris, France, 2009.
  2. É. Villemonte De La Clergerie, « Improving a symbolic parser through partially supervised learning », in The 13th International Conference on Parsing Technologies (IWPT), Nara, Japon, 2013.
  3. P. Boullier, Clément, L., Sagot, B., et De La Clergerie, É. Villemonte, « « Simple comme EASy :-) » », in Proceedings of TALN'05 EASy Workshop (poster), Dourdan, France, 2005.
  4. B. Sagot et de La Clergerie, É., « Fouille d'erreurs sur des sorties d'analyseurs syntaxiques », Traitement Automatique des Langues, vol. 49, p. 41-60, 2008.