Niveau en Machine Learning

***Connaissances avancées en Machine Learning/DA/IA

Niveau en Python

** : Bonnes connaissances en Python

Intervenants

Cet atelier sera présenté par :

• Christophe Cerisara, chercheur en NLP pour le CNRS au laboratoire LORIA.
• Yaya Sy, PhD sur l’apprentissage des LLM

Présentation de l’atelier :

Durant cet atelier, Yaya Sy et Christophe Cerisara, chercheurs en NLP, Loria, vous invitent à découvrir et optimiser une méthode de compression : LoRA (Low Rank Approximation)

Les LLM sont au cœur de l’innovation d’aujourd’hui mais sont très coûteux à fine-tuner et déployer, ce qui limite leur développement en entreprise.

Parmi les différentes méthodes de compression connues aujourd’hui, on retrouve la quantisation, la distillation, le pruning ou encore la Low Rank Approximation.
Cette dernière est une méthode qui consiste à approximer les matrices des couches linéaires à des matrices de dimensions plus petites.

Elle comporte de nombreux avantages :

• Facile et peu coûteux à mettre en pratique.
• Ne déstructure pas le modèle résultant.
• Ne change pas réellement l’architecture du modèle résultant.
• Le modèle résultant peut être ré-entraîné ou fine-tuné.

Elle a cependant le défaut d’introduire une perte de performance significative. L’objectif de cet atelier est de mettre en oeuvre cette méthode en essayant de minimiser la perte de performance.

Les environnements mis à disposition disposent d’un GPU V100 32Go. Afin de pouvoir entrainer un modèle correctement et rapidement, de petits modèles comme StableLM 3B seront utilisés. Une rapide introduction aux principes fondamentaux des LLM sera présentée en début d’atelier, mais il est recommandé d’avoir déjà de bonnes connaissances sur le sujet pour profiter pleinement de l’atelier