Monitoring et Évaluation des systèmes LLM

Intervenant 

Hugues de Saxcé, AI Engineer chez Chainlit by Literal AI

Description

L’évolution rapide des modèles de langage (LLM) pose des défis importants pour les développeurs en termes de monitoring, d’observabilité et d’évaluation continue. Cet atelier abordera ces problématiques la présentation un framework innovant permettant aux développeurs de surveiller efficacement les performances de leurs applications LLM, en particulier dans le contexte de systèmes conversationnels.

Chainlit a mis au point un SDKs en Python ou Typescript pour loguer chaque étape du flux d’une application, offrant ainsi une visibilité complète sur des aspects clés comme la gestion des tokens, le timing, et la détection d’erreurs.

Une attention particulière est portée sur la partie évaluation, essentielle pour prévenir les baisses de performance lors des modifications de modèles ou d’autres composants d’application.

Hugues partagera également des insights sur les meilleures pratiques pour construire et exploiter des datasets d’évaluation, garantissant que les ajustements apportés ne compromettent pas la qualité du système.

Cible

Cet atelier est idéal pour les data scientist, AI/ML engineer et les développeurs souhaitant maîtriser les outils et techniques de suivi et d’évaluation des LLM pour des déploiements robustes et fiables.