ATELIER - QUEL EST LE MEILLEUR SYSTÈME ? EVALUER LES RÉSEAUX PRÉ-ENTRAÎNÉS À L’ÈRE DU MULTI-TÂCHES

Cet atelier a été animé par Nathan Noiry, chercheur post-doctorant en Machine Learning à Télécom Paris et Pierre Colombo, chercheur post-doctorant au L2S de CentraleSupelec
Contrairement aux algorithmes traditionnels de Machine Learning, les réseaux de neurones profonds sont entraînés afin de généraliser sur une grande variété de tâches ; c’est le cas de  BERT en traitement automatique du langage, ViBERT en vision par ordinateur ou encore Wav2Vec en audio. Ce nouveau paradigme nécessite une nouvelle manière d’évaluer les systèmes à partir de leurs performances sur différentes métriques.
Dans cet atelier, nous avons pu illustrer la diversité des métriques d’évaluation dans le contexte de la génération du langage. Dans un second temps, nous avons discuté des méthodes de comparaison des systèmes dans le cadre multi-tâches et présenté une nouvelle procédure récemment développée en collaboration avec Ekhine Irurozki, professeure associée à Télécom Paris et Stéphan Clémençon, professeur à Télécom Paris.
Si vous souhaitez en savoir plus sur le contenu de cet atelier, n'hésitez pas à vous rendre sur notre Github.
Atelier réalisé le 11 mars 2022.
Share