Formation en large language models (LLM)

Cette formation intensive de trois jours s'adresse à des profils techniques, ayant des connaissances en Python et en machine learning. Elle permet d'acquérir des compétences avancées, théoriques et pratiques, sur les LLMs (Large language Models), notamment les techniques à l'état de l'art.

Objectifs pédagogiques :

À l'issue de la formation, les participants seront capable de :

Comprendre l'architecture et le fonctionnement des LLMs
Implémenter des solutions basées sur les LLMs
Maîtriser les techniques de prompting avancées
Fine-tuner des LLMs pour les adapter à leurs cas d'usage
Développer des applications avec LangChain

Dates

Du 29 au 31 janvier 2025

Lieu

Paris

Prix

Financement personnel ou entreprise : 1500€ HT.

Financement OPCO ou France Travail : 2100€ HT.

Le tarif inclut les pauses café, le déjeuner, les supports ainsi que les ressources de calcul.

Nombre de places

Afin d'assurer une qualité d'apprentissage optimale et un suivi individualisé lors des travaux pratiques, cette formation est limitée à 10 participants.

Programme de la formation

Le programme de la formation alterne entre parties théoriques et pises en pratique sous Python et Pytorch.

Elément de deep learning pour le NLP

Fondamentaux du deep learning
Représentations distribuées de mots (Embeddings)
Modèles classiques pour le NLP (RNN, LSTM, Seq2Seq)
Mécanisme d'Attention
Tokénisation
Transformers
Implémentation d'un LSTM et d'un Transformer avec Pytorch

Large Language Models (LLMs)

Apprentissage auto-supervisé
BERT
Modèles auto-régressifs (GPT)
Alignement des LLMs
Ecosystème LangChain
Implémentation d'un RAG avec LangChain

Prompting

Principes du prompting
Few-shot learning
Chain of Thoughts (CoT)
Techniques avancées : ReAct
Implémentation d'un Agent avec LangChain

Fine tuning des LLMs

Supervised fine-tuning
PPO
DPO
Parameter efficient fine-tuning (PEFT)
LoRA
QLoRA
Fine tuning d'un LLM open source avec Pytorch

Discussion sur les enjeux éthiques liés aux LLMs

Redha Moulla