QUEL EST LE MEILLEUR SYSTÈME ? EVALUER LES RÉSEAUX PRÉ-ENTRAÎNÉS À L’ÈRE DU MULTI-TÂCHES

Contrairement aux algorithmes traditionnels de machine learning, les réseaux de neurones profonds sont entraînés afin de généraliser sur une grande variété de tâches ; c’est le cas de  BERT en traitement automatique du langage, ViBERT en vision par ordinateur ou encore Wav2Vec en audio. Ce nouveau paradigme nécessite une nouvelle manière d’évaluer les systèmes à partir de leurs performances sur différentes métriques. Dans cet atelier, nous commencerons par illustrer la diversité des métriques d’évaluation dans le contexte de la génération du langage. Dans un second temps, nous discuterons des méthodes de comparaison des systèmes dans le cadre multi-tâches et présenterons une nouvelle procédure récemment développée en collaboration avec Ekhine Irurozki, professeure associée à Télécom Paris et Stéphan Clémençon, professeur à Télécom Paris.
Cet atelier sera présenté par Nathan Noiry, chercheur post-doctorant en Machine Learning à Télécom Paris et Pierre Colombo, chercheur post-doctorant au L2S de CentraleSupelec.
Atelier réalisé le 11 mars 2022.
Share