BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//datacraft - ECPv6.15.20//NONSGML v1.0//EN
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-WR-CALNAME:datacraft
X-ORIGINAL-URL:https://datacraft.paris
X-WR-CALDESC:Events for datacraft
REFRESH-INTERVAL;VALUE=DURATION:PT1H
X-Robots-Tag:noindex
X-PUBLISHED-TTL:PT1H
BEGIN:VTIMEZONE
TZID:Europe/Paris
BEGIN:DAYLIGHT
TZOFFSETFROM:+0100
TZOFFSETTO:+0200
TZNAME:CEST
DTSTART:20230326T010000
END:DAYLIGHT
BEGIN:STANDARD
TZOFFSETFROM:+0200
TZOFFSETTO:+0100
TZNAME:CET
DTSTART:20231029T010000
END:STANDARD
BEGIN:DAYLIGHT
TZOFFSETFROM:+0100
TZOFFSETTO:+0200
TZNAME:CEST
DTSTART:20240331T010000
END:DAYLIGHT
BEGIN:STANDARD
TZOFFSETFROM:+0200
TZOFFSETTO:+0100
TZNAME:CET
DTSTART:20241027T010000
END:STANDARD
BEGIN:DAYLIGHT
TZOFFSETFROM:+0100
TZOFFSETTO:+0200
TZNAME:CEST
DTSTART:20250330T010000
END:DAYLIGHT
BEGIN:STANDARD
TZOFFSETFROM:+0200
TZOFFSETTO:+0100
TZNAME:CET
DTSTART:20251026T010000
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
DTSTART;TZID=Europe/Paris:20240306T093000
DTEND;TZID=Europe/Paris:20240306T180000
DTSTAMP:20260421T133425
CREATED:20240116T153150Z
LAST-MODIFIED:20240304T105642Z
UID:9822-1709717400-1709748000@datacraft.paris
SUMMARY:ATELIER - Élagage des LLM : Comment réduire la taille sans compromettre la performance
DESCRIPTION:inscription\n			\n				\n				\n				\n				\n				Niveau en Machine Learning \n***Connaissances avancées en Machine Learning/DA/IA \nNiveau en Python \n** : Bonnes connaissances en Python \nIntervenants \nCet atelier sera présenté par : \n\nChristophe Cerisara\, chercheur en NLP pour le CNRS au laboratoire LORIA.\nYaya Sy\, PhD sur l’apprentissage des LLM\n\nPrésentation de l’atelier : \nDurant cet atelier\, Yaya Sy et Christophe Cerisara\, chercheurs en NLP\, Loria\, vous invitent à découvrir et optimiser une méthode de compression : LoRA (Low Rank Approximation) \nLes LLM sont au cœur de l’innovation d’aujourd’hui mais sont très coûteux à fine-tuner et déployer\, ce qui limite leur développement en entreprise. \nParmi les différentes méthodes de compression connues aujourd’hui\, on retrouve la quantisation\, la distillation\, le pruning ou encore la Low Rank Approximation.Cette dernière est une méthode qui consiste à approximer les matrices des couches linéaires à des matrices de dimensions plus petites. \nElle comporte de nombreux avantages : \n\nFacile et peu coûteux à mettre en pratique.\nNe déstructure pas le modèle résultant.\nNe change pas réellement l’architecture du modèle résultant.\nLe modèle résultant peut être ré-entraîné ou fine-tuné.\n\nElle a cependant le défaut d’introduire une perte de performance significative. L’objectif de cet atelier est de mettre en oeuvre cette méthode en essayant de minimiser la perte de performance. \nLes environnements mis à disposition disposent d’un GPU V100 32Go. Afin de pouvoir entrainer un modèle correctement et rapidement\, de petits modèles comme StableLM 3B seront utilisés. Une rapide introduction aux principes fondamentaux des LLM sera présentée en début d’atelier\, mais il est recommandé d’avoir déjà de bonnes connaissances sur le sujet pour profiter pleinement de l’atelier
URL:https://datacraft.paris/event/atelier-elagage-des-llms/
LOCATION:datacraft –\, 3 rue Rossini\, 75009 Paris\, France
CATEGORIES:on-site event
END:VEVENT
END:VCALENDAR