[The workshop will be dispense in english ] 

Machine Learning Level :

**Good knowledge of Machine Learning

 Python Level

*Basic skills in Python

Workshop description

If vendors almost announce to sell AGI-as-as-service through API to enterprise client, the reality after trying to use proprietary LLM as a service on a specific use case is often different. Non relevant generation, out-of-context answer, misunderstanding of the user queries and more broadly lacking subject matter expertise starts to erode the users and shareholders confidence of the potential transformative power of deploying LLM-enhanced business workflow across your organisation. You’re not alone in this journey.

In this talk, we’ll explore the landscape of fine-tuning solutions for open-source LLM, weighing their pros and cons. We’ll delve into the data required and how to design a robust evaluation framework to systematically assess your in-house model’s performance.

We’ll deep dive on the subtle differences between the Parameter Efficient Finetuning Methods PEFT), the reinforcement learning approaches, what to keep in mind when considering which one to use.

This talk is a synthesis of deploying LLM capabilities at various organisations, from startup to corporate environments. It’s a blend of insights from research papers and pragmatic experiences. We won’t go onto the details of the mathematical operations under the hood for each fine-tuning approach, instead our goal is to share the intuition of those concepts, equipping you to design an effective roadmap for fine-tuning an LLM for your specific business use case.

Slides in pdf will be made available for free on the speaker twitter at the end of the talk @fpaupier.

Intervenants :

François Paupier, machine learning engineer, fpaupier engineering services

Difficulté
* : Connaissances de base en ML/Data/IA

Prérequis techniques
Aucun

Intervenants
Cet atelier sera présenté par : 

• Romain Bey, responsable de l’équipe Sciences des Données, Direction des Services Numériques de l’AP-HP 
• Dr. Emmanuelle Kempf, oncologue à l’hôpital Henri Mondor, référente IA et Cancer
• Thomas Petit-Jean, data scientist, Direction des Services Numériques de l’AP-HP
• Dr. Christel Gérardin, médecin interniste, actuellement en thèse INSERM
• Perceval Wajsbürt, data scientist et docteur en traitement automatique du langage sur données cliniques, Direction des Services Numériques de l’AP-HP

Présentation de l’événement
L’IA permet d’analyser automatiquement des millions de documents cliniques contenus dans les entrepôts de données de santé (EDS), pour réaliser des recherches et contribuer au pilotage des établissements de santé. Cette présentation portera sur le développement et l’utilisation d’algorithmes de traitement automatique du langage (TAL) dans le cadre de l’EDS de l’AP-HP. Elle sera divisée en 3 séquences :

Développement, validation et utilisation des algorithmes de TAL clinique dans le contexte d’un EDS : quelles sont les compétences et les technologies nécessaires ? Comment utiliser des algorithmes préexistants ? Comment contribuer à leur amélioration ? (Intervenant : Romain Bey)
Cas d’usage : algorithmes extrayant les comorbidités du score Charlson mentionnées dans les comptes rendus (Intervenants : Dr. Emmanuelle Kempf, Thomas Petit-Jean)
Cas d’usage : algorithme détectant automatiquement la mise en page et la structuration en sections des documents cliniques afin de mieux contextualiser les mentions ainsi détectées (Intervenants : Dr. Christel Gérardin, Perceval Wajsbürt)

L’IA permet d’analyser automatiquement des millions de documents cliniques contenus dans les entrepôts de données de santé (EDS), pour réaliser des recherches et contribuer au pilotage des établissements de santé. Cette présentation portera sur le développement et l’utilisation d’algorithmes de traitement automatique du langage (TAL) dans le cadre de l’EDS de l’AP-HP. Elle sera divisée en 3 séquences :

Développement, validation et utilisation des algorithmes de TAL clinique dans le contexte d’un EDS : quelles sont les compétences et les technologies nécessaires ? Comment utiliser des algorithmes préexistants ? Comment contribuer à leur amélioration ? (Intervenant : Romain Bey)
Cas d’usage : algorithmes extrayant les comorbidités du score Charlson mentionnées dans les comptes rendus (Intervenants : Dr. Emmanuelle Kempf, Thomas Petit-Jean)
Cas d’usage : algorithme détectant automatiquement la mise en page et la structuration en sections des documents cliniques afin de mieux contextualiser les mentions ainsi détectées (Intervenants : Dr. Christel Gérardin, Perceval Wajsbürt)