Stanford CME 295 Transformers & LLMs | Fall 2026 | Lecture 3 - LLM training

Item: Stanford CME 295 Transformers & LLMs | Fall 2026 | Lecture 3 - LLM training
Rating: 5
Author: PostSingularity Institute

CME 295 cours 3

par Afshine Amidi et Shervine Amidi (Stanford University) · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQMApprentissage par la machine

🎙 Afshine Amidi et Shervine Amidi (Stanford University) 👥 1.3M 📅 15 octobre 2026 ⏱ 104 min 👁 387 📄 revue de littérature 🧭 2026-10-16

Disponible en : Français (actuel) English

Mots-clés

LLMpré-entraînementSFTRLHFDPO

Résumé

Ce cours de la Stanford CME 295 présente les différentes étapes de l’entraînement des grands modèles de langage (LLM). Il débute par un rappel sur l’architecture des transformers et les lois d’échelle, puis aborde le pré-entraînement (pretraining) avec la prédiction de token suivant et la perte d’entropie croisée, ainsi que la préparation des données et les mélanges de données. Ensuite, il traite de l’entraînement intermédiaire (mid-training) pour des tâches spécifiques et l’extension du contexte (long context training) avec des méthodes comme RoPE et YARN. La deuxième partie est consacrée à l’ajustement supervisé (SFT) et à l’adaptation par LoRA. La troisième partie explore l’alignement par préférences : la formulation de Bradley-Terry, le RLHF, l’optimisation directe des préférences (DPO), et des méthodes récentes comme GRPO et la distillation on-policy. Le tout est illustré par un exemple de bout en bout. Le cours est technique et s’adresse à un public connaissant déjà les bases.

151 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

Le cours offre une vue d’ensemble complète et structurée des méthodes d’entraînement des LLM, allant des fondations théoriques (perte, données, pré-entraînement) jusqu’aux techniques avancées d’alignement. L’argumentation est solide, chaque étape étant justifiée par des problèmes concrets (limites du pré-entraînement, besoin d’alignement) et des solutions pratiques (SFT, RLHF, DPO). Les explications sont claires, avec des dérivations mathématiques comme celle de la perte d’entropie croisée, et des analogies pédagogiques. La présentation s’appuie sur des références récentes (GLM5, OMO3, data comp LM) et intègre des questions des étudiants, ce qui renforce la robustesse du contenu. L’accent est mis sur les compromis (taille du modèle, données, coût) et les considérations pratiques.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est élevée : le cours est dispensé par des professeurs de Stanford, et les méthodes présentées sont issues de la littérature académique et de modèles open-source récents. Les sources citées incluent des papiers de référence et des modèles comme GLM5, mais la plupart ne sont pas explicitement référencées avec URL, ce qui limite la vérification directe. Le titre ‘LLM training’ est exact quant au contenu : le cours couvre effectivement toutes les étapes d’entraînement. La structure en chapitres facilite le suivi. On note une parfaite adéquation entre le titre et le contenu.

217 mots

Adéquation titre / contenu

Le titre reflète fidèlement le contenu : il s'agit d'un cours sur l'entraînement des LLM, avec une couverture complète des étapes et méthodes.

Qualité & fiabilité

9/10

Cours magistral de Stanford, enseigné par des professeurs, couvrant des méthodes de pointe avec des références à des travaux récents. Source fiable et pédagogique.

Chapitres

Sources citées

Programme du cours CME 295 — Lien vers le programme complet du cours.
Programmes d'études supérieures de Stanford — Lien vers les programmes de formation de Stanford.
Playlist de la série de cours — Playlist des leçons CME 295.

Apport & nouveautés

Ce cours apporte une synthèse actualisée des méthodes d’entraînement des LLM, en intégrant des techniques récentes comme la distillation on-policy et GRPO, et en soulignant les nuances entre les étapes (pré-entraînement, mid-training, long context training). Il met en évidence les compromis pratiques et les choix de conception.

Pour aller plus loin :

Reinforcement learning from human feedback — Pour comprendre les fondamentaux du RLHF.
Direct preference optimization (DPO) — Article de référence sur l’optimisation directe des préférences.
LoRA: Low-Rank Adaptation — Méthode d’adaptation efficace en paramètres.
Programme du cours CME 295 — Pour suivre le programme complet.

97 mots

Profil radar

Le profil radar montre une très bonne homogénéité, avec des scores élevés en quantité et fiabilité, légèrement supérieurs à la qualité et au niveau technique. Cela indique un contenu dense et fiable, avec une grande richesse d'information.

Fiabilité 9/10