ETAT DE L'ART - Embarquez dans l'IA frugale !

Présentation des intervenants

Cet atelier a été animé par : 

Introduction
L'utilisation de peu de données ou de peu de ressources informatiques est une contrainte dans certains cas, et une volonté des entreprises pour réduire les coûts opérationnels et l'impact environnemental dans d'autres cas. Ces sujets, regroupés sous le terme d'IA frugale, sont encore au stade de champs de recherches importants.
Sous l'impulsion d'entreprises et de chercheurs membres de datacraft, nous avons créé un groupe de travail sur ces sujets.
L’objectif, à long terme, est d’organiser des états de l’art et des ateliers auxquels vous pouvez prendre part que ce soit dans l’animation, la préparation ou encore la participation.
Ce premier rendez-vous avait principalement pour objectif de vous faire découvrir la frugalité et de vous donner envie de vous y intéresser.

 

A retenir de l’état de l’art

Traiter de faibles volumes de données

  • Data Augmentation : génération de données synthétiques afin de fournir aux algorithmes plus de données pour s'entraîner (VAEs, GANs, modèles de diffusion)
  • Few Shot Learning : capacité à un modèle de Machine Learning de reconnaître une classe qu’il a vue très peu de fois durant son entraînement (One-Shot : une unique fois, Zero-Shot : capacité à reconnaître de nouvelles classes)


Minimiser la quantité d’annotations requise

  • Weakly supervised Learning : ensemble des méthodes qui permettent de construire des modèles qui s'entraînent sur des données partiellement labellisées. On y retrouve le Self Learning qui permet de traîter les annotations incomplètes et le Co Learning qui est utile sur les annotations bruitées.
  • Self supervised Learning : ensemble des méthodes qui permettent de construire des modèles qui s'entraînent sur des données non labellisées.


Réduire l’impact environnemental

  • Dataset distillation : tâche qui consiste à synthétiser gros volume de données en un plus petit afin d'entraîner un modèle aussi performant qu’un autre entraîné avec les données complètes.
  • Model distillation : tâche qui consiste à transférer les connaissances d’un modèle volumineux et complexe (teacher) à un modèle plus simple et plus petit (student) pour gagner en temps d’inférence
  • Quantization : réduction du nombre de bits d’encodage des poids d’un réseau de neurones 
  • Tensor compression : réduction des tenseurs qui composent les couches de convolution dans les réseaux de neurones convolutionnels


Outils de mesure de l’empreinte carbone
Afin de comparer les performances des différentes méthodes visant à réduire l’impact environnemental, il nous faut des outils capables de mesurer la consommation d’énergie des différents codes.
Voici quelques exemples de librairies Python open source qui réalisent cette fonction : 

  • CodeCarbon/carbonai : mesure l’énergie consommée pendant l’exécution d’un code Python. Elle prend en entrée les caractéristiques computationnelles de l'environnement qui exécute le code ainsi que le mix énergétique du pays et retourne l’énergie consommée ainsi que l’estimation de l’émission de CO2.
  • CarbonTracker : mesure et prédit la consommation énergétique d’un entraînement d’un modèle de Deep Learning en se basant sur les première epochs d'entraînement ainsi que l’intensité carbone du pays qui exécute le code. 

 

Si le domaine de l’IA frugale vous intéresse, n’hésitez pas à assister à nos prochains événements dont les dates seront communiquées prochainement sur notre site.
N’hésitez pas également à revoir l’état de l’art sur notre chaîne Youtube et les slides sur notre site

Share