Contrairement aux algorithmes traditionnels de machine learning, les réseaux de neurones profonds sont entraînés afin de généraliser sur une grande variété de tâches ; c’est le cas de  BERT en traitement automatique du langage, ViBERT en vision par ordinateur ou encore Wav2Vec en audio. Ce nouveau paradigme nécessite une nouvelle manière d’évaluer les systèmes à partir de leurs performances sur différentes métriques. Dans cet atelier, nous commencerons par illustrer la diversité des métriques d’évaluation dans le contexte de la génération du langage. Dans un second temps, nous discuterons des méthodes de comparaison des systèmes dans le cadre multi-tâches et présenterons une nouvelle procédure récemment développée en collaboration avec Ekhine Irurozki, professeure associée à Télécom Paris et Stéphan Clémençon, professeur à Télécom Paris.