Les grands modèles de langage, généralement (et inexactement) connus sous le nom d’IA, menacent depuis des mois de bouleverser le monde de l’édition, de l’art et du droit. L’un des inconvénients est que l’utilisation de LLM tels que ChatGPT implique de créer un compte et de confier le travail à l’ordinateur de quelqu’un d’autre. Mais vous pouvez faire fonctionner un LLM entraîné sur votre Raspberry Pi pour écrire des poèmes, répondre à des questions, etc.
Qu’est-ce qu’un grand modèle de langage ?
Les grands modèles de langage utilisent des algorithmes d’apprentissage automatique pour trouver des relations et des modèles entre les mots et les phrases. Entraînés sur de grandes quantités de données, ils sont capables de prédire quels mots sont statistiquement susceptibles de suivre lorsqu’on leur donne une instruction.
Si vous demandiez à des milliers de personnes comment elles se sentent aujourd’hui, les réponses seraient du genre : « Je vais bien », « Ça pourrait être pire », « Ça va, mais mes genoux font des siennes ». La conversation prendrait alors une autre direction. La personne pourrait vous poser des questions sur votre propre état de santé ou vous demander de poursuivre en disant : « Désolé, je dois y aller, je suis en retard au travail ». Je suis en retard au travail ».
À partir de ces données et de l’invite initiale, un grand modèle de langage devrait être en mesure de proposer une réponse convaincante et originale, basée sur la probabilité qu’un certain mot vienne ensuite dans une séquence, combinée à un degré prédéfini d’aléa, à des pénalités de répétition et à d’autres paramètres.
Les grands modèles linguistiques utilisés aujourd’hui ne sont pas formés à partir d’un vox pop de quelques milliers de personnes. Au lieu de cela, ils reçoivent une quantité inimaginable de données, extraites de collections accessibles au public, de plateformes de médias sociaux, de pages web, d’archives et, occasionnellement, d’ensembles de données personnalisées.
Les LLM sont formés par des chercheurs humains qui renforcent certains modèles et les transmettent à l’algorithme. Si vous demandez à un grand modèle de langage « quelle est la meilleure espèce de chien ? », il sera capable de vous répondre qu’un terrier Jack Russell est la meilleure espèce de chien, et de vous donner les raisons de cette réponse.
Mais quelle que soit l’intelligence de la réponse ou son caractère convaincant et humainement stupide, ni le modèle ni la machine sur laquelle il tourne n’ont d’esprit, et ils sont incapables de comprendre la question ou les mots qui composent la réponse. Il ne s’agit que de mathématiques et d’un grand nombre de données.
Pourquoi faire tourner un grand modèle linguistique sur Raspberry Pi ?
Les grands modèles de langage sont omniprésents et sont adoptés par les grandes sociétés de…
