Révisions

Table of Contents 

Nous donnons ici quelques éléments d'information sur les performances de FRMG, en terme de qualité sur divers corpus de test et métriques. Nous fournissons également des informations sur le taux de couverture par analyses complètes, sur divers styles de corpus. Enfin, même si ce n'est qu'indicatif, des informations sur les vitesses d'analyse, désambiguisation, et conversion

  • [1] FRMG: évolutions d'un analyseur syntaxique TAG du français
  • [2] Improving a symbolic parser through partially supervised learning
  • [3] premiers résultats pour FRMG sur le corpus EASy

Améliorations grâce à l'utilisation de techniques de fouilles d'erreurs [4] sur les échecs d'analyse de gros corpus.

Le tableau suivant, issu de [2], donne, pour quelques corpus, quelques éléments d'information sur le taux de couverture par analyse complète (les autres phrases étant couverte par des analyses robustes). Le tableau fournit aussi les temps d'analyse moyens et médians.

Corpus #phrases %analyse totale temps moyen (s) temps médian (s)
Taux de couverture et vitesse
FTB train 9881 95.9 1.04 0.26
FTB dev 1235 96.1 0.88 0.30
FTB test 1235 94.9 0.85 0.30
Sequoia 3204 95.1 1.53 0.17
EasyDev 3879 87.2 0.87 0.14

Le tableau suivant, issu de [2], donne des éléments d'évaluation de FRMG sur divers treebanks (FrenchTreeBank, Sequoia, EasyDev), pour divers schéma d'annotation (schéma FTB pour FTB et Sequoia; schéma Easy/Passage pour EasyDev) et avec 2 métriques (LAS pour le schéma FTB; F1-mesure sur les relations pour EasyDev). Les résultats, au moins sur le FTB, peuvent être comparés avec les ceux obtenus par des analyseurs syntaxiques (Berkely, MALT, et MST) entraînés sur la partie FTB train (voir cette page pour plus d'information).

Performances de FRMG, contrastées avec quelques analyseurs statistiques
French TreeBank Autres Corpus
Analyseurs Train Dev Test Sequoia EasyDev
FRMG base 79.95 80.85 82.08 81.13 65.92
+restr 80.67 81.72 83.01 81.72 66.33
+tuning 86.60 85.98 87.17 84.56 99.23
2014/01 86.20 87.49
Autres Systèmes Berkeley 86.50 86.80
MALT 86/90 87.30
MST Parser 87.50 88.20

Références

  1. É. de La Clergerie, Sagot, B., Nicolas, L., et Guénot, M. - L., « FRMG: évolutions d'un analyseur syntaxique TAG du français », in Journée de l'ATALA sur : Quels analyseurs syntaxiques pour le français ?, Paris, France, 2009.
  2. É. Villemonte De La Clergerie, « Improving a symbolic parser through partially supervised learning », in The 13th International Conference on Parsing Technologies (IWPT), Nara, Japon, 2013.
  3. P. Boullier, Clément, L., Sagot, B., et De La Clergerie, É. Villemonte, « « Simple comme EASy :-) » », in Proceedings of TALN'05 EASy Workshop (poster), Dourdan, France, 2005.
  4. B. Sagot et de La Clergerie, É., « Fouille d'erreurs sur des sorties d'analyseurs syntaxiques », Traitement Automatique des Langues, vol. 49, p. 41-60, 2008.