Comprendre les grands concepts de la génération de contenu

Vous voulez en savoir plus sur la génération de contenu ? Je vous propose de démarrer par les notions indispensables avec tous les grands concepts autour de la génération de contenu. J'adore démarrer par cette citation qui dit la chose suivante : « Toute technologie suffisamment avancée est indiscernable de la magie ». Cet auteur de science-fiction qui s'appelle Arthur C. Clarke a parfaitement raison : si vous ne comprenez pas, une technologie, c'est de la magie pour vous. Je vous propose dans cette formation de voir déjà que ce n'est pas de la magie mais vraiment des technologies très à la pointe, et surtout de vous permettre de réaliser ces tours. L'Intelligence Artificielle Générative a commencé sur le texte par des mots. Il y a quelques années, on générait des mots, puis on a commencé à générer des phrases. Aujourd'hui, on fait des articles et des romans, et je pense qu'il n'y a aucune limite dans la génération de contenu. De la même façon, si vous avez pu observer l'état de l'art, on fait à l'heure actuelle des images de très bonne qualité. Certains ont commencé à générer des bandes dessinées et des mangas, on voit l'apparition de la vidéo. Et on est persuadé que d'ici quelques mois, quelques années, on aura des films complètement générés avec ce type d'intelligence. Sachez qu'en termes de prérequis, si vous avez un parcours généraliste, je vais même aller encore plus loin, un parcours non scientifique, vous pouvez tout à fait utiliser ce type d'intelligences artificielles, qui sont à l'heure actuelle très accessibles. Le seul prérequis sera d'être à l'aise avec l'informatique, de savoir utiliser un ordinateur. Et sachez que dans cette formation, nous aurons une partie sur la génération de code, qui peut être complètement passée pour les personnes qui y sont allergiques. Je vous propose de vous donner un glossaire avec toutes les définitions que l'on va rencontrer dans cette formation. Si on regarde le graphique suivant, on constate la sortie de ces intelligences artificielles entre 2018 et 2022, et vous voyez sur l'ordonnée quelque chose qui s'appelle les milliards de paramètres que cela utilise. À l'heure actuelle, les GPT-3 et les Megatron- Turing NLG sont entre 100 milliards et 500 milliards de paramètres. Mais qu'est-ce qu'un paramètre ? Si je devais vulgariser au maximum, un paramètre, c'est le nombre de concepts simples ou avancés que l'on peut apprendre à une machine. Si on doit vraiment simplifier, plus cette machine connaît de concepts, plus elle peut traiter un très grand nombre de problèmes et répondre à un très grand nombre de questions. Par la suite, nous verrons souvent quelque chose qui s'appelle les réseaux de neurones. Les réseaux de neurones sont des imitations du fonctionnement des neurones du cerveau humain. Sachez que l'on parle d'imitation, mais que notre cerveau est beaucoup plus complexe que cela. Pourquoi ? Parce que nous avons environ 100 milliards de neurones et 100 trillions de connexions. On est en train de comparer un cerveau humain qui possède 100 milliards de neurones, donc 100 trillons de connexions, avec des modèles qui ont 1000 milliards de paramètres. Notre cerveau est donc beaucoup plus efficace que ces réseaux de neurones artificiels. Ce qui est par contre intéressant, c'est qu'il y a des similitudes entre les deux. Les neurones artificiels sont connectés entre eux et ils travaillent ensemble pour résoudre une tâche complexe, comme le font les neurones de notre cerveau. Ensuite, chaque neurone va recevoir en entrée une information, puis effectuer une opération mathématique qui peut être simple ou complexe, et la passer au neurone suivant. Nous n'irons pas dans le détail, parce qu'il y aura des informations très techniques sur le sujet sur LinkedIn, mais sachez que chaque neurone s'adapte pour optimiser le résultat final et résoudre votre problème. Voici donc le fonctionnement global des réseaux de neurones. Il y a encore une notion très importante, et nous terminerons dessus, c'est au sujet du token. Sachez, si l'on doit encore une fois simplifier, que les tokens sont des parties de mots. Pourquoi ? Parce qu'une intelligence artificielle ne génère pas des lettres ou des mots, mais des tokens dans le langage naturel. Et vous allez le voir, c'est également utilisé dans la génération d'images. Pour bien comprendre comment les tokens sont codés et utilisés comme entrées, je vous propose d'aller sur le site suivant : //platform.openai.com/ tokenizer pour le faire avec un exemple. Je viens d'écrire la phrase « Nous allons apprendre la data science », et il me dit qu'il y a 37 caractères et 10 tokens. Les 10 tokens sont les suivants : le « N » est un token, le « ous » en est un, l'espace « all » est un token, etc. Vous voyez là comment la machine transforme cette phrase en tokens. C'est fait de façon automatique, mais sachez que c'est une notion importante, parce que cette machine transforme ensuite ces tokens en chiffres. Vous pouvez voir les chiffres, que l'on n'utilisera pas dans la formation, mais vous constatez ainsi de quoi sont nourris les réseaux de neurones. Concernant le découpage, une dernière remarque : sachez que c'est en fonction de chaque langue. Le découpage en tokens de l'anglais n'a rien à voir avec celui du français, et c'est par rapport à la fréquence d'apparition de ces tokens. Par exemple, « la » est quelque chose de très fréquent en français, donc c'est un token à part entière. Ce que je vous propose maintenant, c'est de tester directement cette intelligence artificielle.