Formation en large language models (LLM)

Cette formation intensive de trois jours s'adresse à des profils techniques, ayant des connaissances en Python et en machine learning. Elle permet d'acquérir des compétences avancées, théoriques et pratiques, sur les LLMs (Large language Models), notamment les techniques à l'état de l'art (modèles de type DeepSeek, etc.).

Objectifs pédagogiques :

À l'issue de la formation, les participants seront capable de :

Comprendre l'architecture et le fonctionnement des LLMs
Implémenter des solutions basées sur les LLMs
Maîtriser les techniques de prompting avancées
Fine-tuner des LLMs pour les adapter à leurs cas d'usage
Comprendre et développer des modèles de type DeepSeek
Développer des applications avec LangChain

Dates

Du 26 au 28 mai 2025

Lieu

Paris

Prix

Financement personnel ou entreprise : 1500€ HT.

Possibilité de financement OPCO ou France Travail.

Possibilité de financement en plusieurs échéances.

* Le tarif inclut les pauses café, le déjeuner, les supports ainsi que les ressources de calcul.

Nombre de places

Afin d'assurer une qualité d'apprentissage optimale et un suivi individualisé lors des travaux pratiques, cette formation est limitée à 10 participants.

Programme de la formation

Le programme de la formation alterne entre parties théoriques et pises en pratique sous Python et Pytorch.

Fondamentaux des LLMs

Eléments de deep learning
Représentations distribuées de mots (Embeddings)
Modèles classiques pour le NLP (RNN, LSTM, Seq2Seq)
Mécanisme d'Attention
Transformers
Tokénisation
Positional encoding
BERT
Modèles auto-régressifs (GPT)
Mise en pratique avec PyTorch : fine tuning d'un modèle BERT

Retrieval Augmented Generation (RAG)

Introduction aux RAGs
Principes de base
Bases de données vectorielles
Modèles de similarité pour le retrieval (cross-encodeurs, ColBERT, etc.)
Reranking
Graph RAG
Mise en pratique avec LangChain : implémentation d'un RAG

Agents basés sur les LLMs

Brève histoire des agents intelligents
Principes d'un Agent LLM
ReAct
Systèmes multi-agents
Mise en pratique avec LangChain : implémentation d'un Agent

Fine-tuning des LLMs

Supervised fine-tuning
RLHF
Parameter efficient fine-tuning (PEFT)
LoRA
QLoRA
Mise en pratique sous Pytorch : Fine tuning d'un LLM open source

Raisonnement avec les LLMs

Importance du raisonnement dans les LLMs
Chains of Thoughts
Modèles de type DeepSeek
GRPO
Mise en pratique sous PyTorch : fine tuning d'un LLM pour le raisonnement

Discussion sur les enjeux éthiques liés aux LLMs

Redha Moulla