Face aux limites des Transformers en termes de complexité, de latence et de passage à l’échelle sur de longues séquences, de nouvelles architectures émergent et viennent sérieusement challenger leur hégémonie.

Ce retour d’expérience propose de présenter les dernières améliorations en termes d’architecture dans les LLMs ainsi que les moyens mis à disposition par l’Europe pour les entreprises dans le but d’entrainer des modèles sur le nouveau dispositif d’AI factories.

State Space Models (SSMs), Mamba, GDN

​Cadre théorique et pratique pour modéliser des dépendances longues dans les données séquentielles, offrant une alternative scalable aux Transformers grâce à une complexité maîtrisée et une meilleure efficacité mémoire.

• ​L’entrainement d’un modèle de fondation 3.6B sur 4.5T de tokens avec une architecture hybride sur un millier de GPU en parallèle sur un super calculateur européen.
• ​Présentation et retour d’expérience sur les AI factories, le tout nouveau dispositif européen pour permettre aux entreprises d’entrainer leur modèle d’IA sur des HPCs Européens.

​Jean-Gabriel Barthélémy et Alexandre Torres–Leguet, ingénieurs en IA chez DragonLLM, nous exposeront les enjeux liés à l’émergence de ces nouvelles architectures et illustreront les performances que l’on peut légitimement attendre de ce changement de paradigme.

​Raphaelle Achach, Project Manager au sein de l’IA2F (IA Factory Française), présentera la vision, les services et les moyens mis en place pour aider les entreprises sur les sujets IA au sein de l’AI2F.

INSCRIPTIONS

Join us for a demo and a hands-on exercise with this open-source tool called Responsible Prompting, developed by the Responsible Tech Team, IBM Research. This tool supports your LLM users in crafting more responsible prompts by recommending good practices and preventing harmful prompts by leveraging the semantics mapping provided by sentence transformers. The recommendations are provided in prompting-time, i.e., before users send the prompt to an LLM. Hence, for many tasks, it has the potential to speed up prompting tasks, improve the quality of prompts, and even reduce costs. The tool was designed to be easy to customize to different business cases. And it’s even possible go even further by fine-tuning the backbone sentence transformers models.We will go through the following steps:
– Quick demo of the tool (10 min)
– Deep dive into the project history and underlying model (sentence transformers) (20 min)
– Discussion on how it can help businesses (esp. big companies) support their users and diminish the misuses of these technologies. (10 min)
– Conclusion, question and discussion with the attendees (10-20 min)(optional) Bonus: a hands-on exercise for customizing the tool (60 minutes).
This event will be in English and in hybrid format.