ATELIER - QUEL EST LE MEILLEUR SYSTÈME ? EVALUER LES RÉSEAUX PRÉ-ENTRAÎNÉS À L’ÈRE DU MULTI-TÂCHES

Contrairement aux algorithmes traditionnels de Machine Learning, les réseaux de neurones profonds sont entraînés afin de généraliser sur une grande variété de tâches ; c’est le cas de  BERT en traitement automatique du langage, ViBERT en vision par ordinateur ou encore Wav2Vec en audio. Ce nouveau paradigme nécessite une nouvelle manière d’évaluer les systèmes à partir de leurs performances sur différentes métriques.

Dans cet atelier, nous avons pu illustrer la diversité des métriques d’évaluation dans le contexte de la génération du langage. Dans un second temps, nous avons discuté des méthodes de comparaison des systèmes dans le cadre multi-tâches et présenté une nouvelle procédure récemment développée en collaboration avec Ekhine Irurozki, professeure associée à Télécom Paris et Stéphan Clémençon, professeur à Télécom Paris.