Practical insights on LLM fine-tuning

Présentation de l'intervenant

• François Paupier, machine learning engineer, fpaupier engineering services

Introduction

Dans cet atelier, nous abordons les notions clés du fine tuning de LLM :

• PEFT
• LoRA
• Quantization
• RLHF
• DPO

Nous faisons le point sur la théorie derrière ces méthodes, sur les librairies à utiliser, les bonnes pratiques d'implémentation et les corpus de données à fournir au modèle.

Pour en savoir plus, vous pouvez retrouver les slides et la vidéo de l'atelier en cliquant sur les liens. Merci à tous et à bientôt sur un de nos futurs ateliers !