IA, LLM et ChatGPT : Comment fonctionne le coeur d'une IA générative
Comprendre les méthodes d'apprentissage derrière les modèles d'IA et savoir les mettre en oeuvre
Besoin d’adapter cette formation à vos besoins ?
N’hésitez pas à nous contacter afin d’obtenir un devis sur mesure !
Formation créée le 06/12/2023. Dernière mise à jour le 05/04/2024.
Version du programme : 1
Programme de la formation
Cette formation a pour but d’expliquer le fonctionnement des LLM et de la diffusion stable, qui sont des modèles utilisés en IA notamment par l’outil très connu “ChatGPT”, et d'apprendre à mettre en place ces types de modèles. Durée : 2 jours (formation possible en présentiel ou distanciel)
Objectifs de la formation
- Savoir distinguer l’apprentissage supervisé et l’apprentissage non supervisé
- Comprendre le fonctionnement et l'entraînement d’un LLM
- Comprendre le fonctionnement et l'entraînement de la diffusion stable
- Savoir mettre en place son propre apprentissage sur un LLM avec le fine tuning
- Savoir mettre en place son propre apprentissage sur la diffusion stable avec les LORA
Profil des bénéficiaires
- Développeur
- Prompt Engineer
- Connaissances intermédiaires sur l’IA et les LLM ou avoir suivi les formations "IA, LLM et ChatGPT : Découvrir ce qu’est l’IA générative, sans ordinateur !" + "ChatGPT, Copilot, Code Llama 2 : Développer avec l’IA"
- Un compte "invité" openAI vous sera fourni pour la formation, il vous faudra cependant une adresse mail qui sera transmise à openAI pour ce compte (le compte sera supprimé à l'issue de la formation) / vous pourrez utiliser votre compte openAI si vous en avez un (avec des crédits suffisants)
Contenu de la formation
-
Rappels sur l’IA générative
- Qu’est-ce qu’une IA générative ?
- Qu’est-ce que n’est pas une IA générative ?
- L’écosystème des IA génératives : ChatGPT, Stable Diffusion, etc.
- Atelier : Prompter son voisin pour lui faire rédiger un résumé de film
-
Fonctionnement d’un LLM
- Vue d'ensemble des modèles NLP et historique
- Fonctionnement de base des modèles de traitement de langue
- Définition et portée des LLM
- Présentation de l'architecture des Transformers
- Attention et mécanisme d'auto-attention
- Techniques de Tokenization : BPE, WordPiece, SentencePiece
- Apprentissage supervisé, semi-supervisé et non supervisé
- Fine-tuning et Transfer Learning
- Pré-entraînement et entraînement distribué
- Biais et équité
- Éthique, confidentialité et sécurité
- Tendances futures et recherche
-
Fonctionnement de la diffusion stable
- Vue d'ensemble des méthodes de génération d’images
- Historique et évolution vers la diffusion stable
- Comparaison avec d'autres techniques (GANs, VAEs, etc.)
- Théorie de la diffusion
- Architectures de réseaux utilisées dans la diffusion stable
- Utiliser et entraîner un modèle de diffusion stable
- Questions éthiques
- Tendances futures et recherche
-
Mise en place de fine tuning avec GPT
- Pourquoi mettre en place un fine tuning ?
- Avantages et inconvénients du fine tuning
- Déterminer le but du modèle
- Préparer les données pour l’apprentissage
- Création d’un modèle de fine tuning avec GPT
- Utilisation du modèle de fine tuning
- Atelier : Créer un fine tuning pour un ChatBot sarcastique
-
Création d’un LORA pour la diffusion stable
- Présentation du concept des LORA
- Présentation de Khoya et de civitai
- Avantages et inconvénients des LORA
- Déterminer la base du modèle
- Préparer les données pour l’apprentissage
- Création d’un LORA avec Khoya
- Utilisation du LORA
- Atelier : Créer un LORA pour générer des portraits de soi-même !
Les formateurs et experts de CONFOR sont tous des professionnels en activité qui mettent en pratique au quotidien les compétences qu’ils enseignent. Cela permet d’assurer un partage de connaissances toujours à jour et des cas pratiques concrets en lien avec des besoins métiers réels. Les savoirs de nos formateurs experts étant multiples, nous pouvons également concevoir avec vous des programmes de formation sur-mesure, afin de répondre au mieux à vos besoins et attentes en termes d’apprentissages et montées en compétences. Nous proposons aussi un suivi post-formation sous forme de rendez-vous personnalisés : conseil sur la mise en action des savoirs acquis, revues de code, accompagnement à la mise en place de projet informatique / numérique, partenariat de développement informatique.
- Feuilles de présence
- Questions orales ou écrites
- Mise en pratique sous forme d'Ateliers
- Certificat de réalisation de l’action de formation
- Accueil des apprenants dans une salle dédiée à la formation (si présentiel)
- Présentation du support via vidéoprojecteur (ou partage visio)
- Cours théoriques avec des présentations de cas d’exemple
- Compte de test OpenAI fourni aux participants pendant la durée de la formation
- Mise en pratique sous forme d'Ateliers
- Support PDF remis en fin de formation avec corrections des Ateliers Pratiques