Back
Alors qu’on assiste à une démocratisation et un développement massif des systèmes basés sur de l'IA, la confiance que l'on accorde à ces systèmes joue un rôle crucial dans leur adoption et dans la gestion des risques qu'ils posent.datacraft fédère ses membres sur ces sujets, dans le cadre d’une programmation dédiée.
Le stream IA de confiance s'articule autour des sujets qui font qu'un modèle d'IA est robuste et digne de confiance:
- cybersécurité: comment sécuriser l'usage des modèles de machine learning (authentification de contenu généré, détournement de données..)?
Cet aspect garantit une utilisation saine et sécurisée des systèmes d'IA.
- quantification d'incertitude: comment quantifier l'incertitude d'un modèle d'IA pour des applications à haut risque (attribution de crédits, donnée sensible..)?
Cet aspect garantit un contrôle statistique sur les prédictions d'un modèle et permet, s'il n'est pas suffisamment certain, à un modèle de ne pas formuler de prédiction en laissant l'humain décider.
- MLOps: comment gérer le cycle de vie de mon modèle une fois développé, son déploiement, son suivi (monitoring) et son éventuel ré-entraînement?
Cet aspect garantit des systèmes robustes, surveillés et à jour vis-à-vis de la tendance des données.
- Veille opérationnelle: Quelles sont les meilleures librairies et outils disponibles pour un use-case donné (en termes de performance, popularité, simplicité, avenir..)?
Cet aspect garantit l'utilisation des bons outils, à la fois sur les aspects de dette technique (outils populaires, open-source et simples) que sur des aspects de sobriété et d'optimisation des coûts (outils efficaces, moins de ressources consommées).
- Veille scientifique: Quelles sont les nouvelles tendances dans la recherche, les nouvelles méthodes et découvertes et comment les actionner en pratique?
Cet aspect garantit l'utilisation des bons modèles et méthodes scientifiques répondant à un problème donné, à la fois d'un point de vue technique (le use-case est-il possible ou non? Quelle performance peut-on attendre sur ce genre de problèmes), de sobriété et d'optimisation des coûts (bien dimensionner et choisir son modèle, comment optimiser les temps d'entraînements?) ainsi que d'un point de vue métier (existe-t-il une solution réaliste me permettant de créer de la valeur en pratique?)
- Bonnes pratiques: Comment bien coder de sorte à réduire le plus possible la dette technique de mon entreprise (documentation, programmation orientée-objet, performance, tests)?
Cet aspect garantit une réduction de la dette technique, plus de fluidité dans la collaboration entre ingénieurs, et donc in fine des gains de temps, d'organisation et de clarté. Il permet également d'écarter la possibilité de bugs ou erreurs inaperçues dans le code, qui peuvent avoir un impact important sur les projets.
- Explicabilité: Comment comprendre et interpréter les prédictions de mon modèle et justifier ses prédictions?
Cet aspect permet de mieux appréhender le fonctionnement des modèles d'IA pour les cas d'usage critiques, ainsi que dans la présentation des résultats à une audience métier ou non-technique. Cela permet d'ancrer les prédictions du modèle dans une réalité compréhensible par les humains.
- Biais: Comment mesurer, qualifier et réduire les biais présents dans la donnée et qui se répercutent sur les modèles que j'entraîne?
Cet aspect permet un développement plus juste et équitable des modèles sur le plan socio-économique. Il permet également de mieux comprendre les limites des systèmes d'IA ainsi que les bonnes pratiques à mettre en place pour les réduire. Dans une certaine mesure, cela impacte également la confiance que l'on accorde aux prédictions d'un point de vue qualitatif, car dans certains cas les biais impactent fortement à la baisse les résultats du modèle.
- Vulgarisation (annexe): Comment démystifier le fonctionnement de l'IA auprès du plus grand nombre et sensibiliser les masses à leur usage responsable, et expliquer simplement leur fonctionnement.
Cet aspect permet de relier le petit monde de l'IA au reste du monde, notamment en rationalisant le fonctionnement des systèmes d'IA et en prônant un usage responsable et mesuré de ceux-ci. Il permet, par la vulgarisation scientifique, de sensibiliser et d'informer les utilisateurs non-techniques du fonctionnement de l'IA.
Voici également pour chaque catégorie les événements faits ainsi que ceux à venir:
cybersécurité:
fait:
- Etat de l'art Preserving Privacy avec Tom Sander
- Etat de l'art Watermarking par Tom Sander
à venir:
- Article sur le Watermarking (article)
quantification d'incertitude:
à venir:
- Calibration de modèles (atelier)
- Prédiction conformes (atelier)
MLOps:
à venir:
-2 rex (mlflow, streamlit en prod)
Veille opérationnelle
fait:
- atelier shapley (librarie SHAP)
- Taipy (rex)
- plotly (atelier)
à venir:
- taipy (atelier)
- polars (atelier)
- scraping (atelier)
- séries temporelles avec Califrais (forecasting, atelier)
Veille scientifique
à venir:
- diverses présentations en anglais + remote
- éventuel groupe de lecture de papiers à l'avenir
- divers articles (ex: Schedule-Free de Meta)
- article sur quantization de LLMs
- article sur speculative decoding (Deepmind)
Bonnes pratiques
à venir:
- Introduction to Object-Oriented Programming in Python
- Introduction to Typing in python
- Ateliers sur contribution open-source avec scikit-learn (probabl:)
Explicabilité
fait:
- Shapley
à venir:
- Lime
- Articles sur explicabilité LLM (travaux openAI et Anthropic)
Biais
à venir:
- article sur biais look-forward en séries temporelles
- atelier bunka septembre (partagé stream genAI)
Vulgarisation
à venir (non-définitif):
- articles de vulgarisation scientifique
- épisodes de podcast en vulgarisation
- peut-être un meetup de vulgarisation de l'IA