Les grands modèles de langage (LLM) sont la technologie sous-jacente qui a permis l’ascension fulgurante des chatbots d’IA générative. Des outils tels que ChatGPT, Google Bard et Bing Chat s’appuient tous sur des LLM pour générer des réponses de type humain à vos messages et questions.
Mais qu’est-ce que les LLM et comment fonctionnent-ils ? Nous nous proposons ici de démystifier les LLM.
Qu’est-ce qu’un grand modèle de langage ?
En termes simples, un LLM est une énorme base de données textuelles à laquelle il est possible de se référer pour générer des réponses de type humain à vos questions. Le texte provient de diverses sources et peut contenir des milliards de mots.
Parmi les sources de données textuelles couramment utilisées, on peut citer
- Littérature: Les MLD contiennent souvent d’énormes quantités de littérature contemporaine et classique. Il peut s’agir de livres, de poèmes ou de pièces de théâtre.
- Contenu en ligne: Un LLM contiendra le plus souvent un grand nombre de contenus en ligne, y compris des blogs, des contenus web, des questions et réponses de forums et d’autres textes en ligne.
- Nouvelles et actualités: Certains LLM, mais pas tous, peuvent accéder à des sujets d’actualité. Certains LLM, comme le GPT-3.5, sont restreints dans ce sens.
- Médias sociaux: Les médias sociaux représentent une énorme ressource de langage naturel. Les LLM utilisent des textes provenant de plateformes majeures telles que Facebook, Twitter et Instagram.
Bien sûr, disposer d’une énorme base de données de textes est une chose, mais les LLM doivent être formés pour donner un sens à ces textes et produire des réponses semblables à celles des humains. La façon dont ils y parviennent fait l’objet de la prochaine section.
Comment les LLM utilisent-ils ces référentiels pour créer leurs réponses ? La première étape consiste à analyser les données à l’aide d’un processus appelé apprentissage profond.
L’apprentissage profond est utilisé pour identifier les modèles et les nuances du langage humain. Il s’agit notamment de comprendre la grammaire et la syntaxe. Mais il est également important de tenir compte du contexte. La compréhension du contexte est un élément crucial des LLM.
Voyons un exemple de la manière dont les LLM peuvent utiliser le contexte.
L’invite de l’image suivante mentionne le fait de voir une chauve-souris la nuit. ChatGPT a compris que nous parlions d’un animal et non, par exemple, d’une batte de baseball. Bien entendu, d’autres chatbots comme Bing Chat ou Google Bard peuvent répondre à cette question de manière totalement différente.
Cependant, il n’est pas infaillible et, comme le montre cet exemple, vous devrez parfois fournir des informations supplémentaires pour obtenir la réponse souhaitée.
Dans ce cas, nous avons délibérément lancé une petite balle courbe pour montrer à quel point le contexte se perd facilement. Mais les…
Lire la suite de l’article sur encause.fr
