ChatGPT a pris d’assaut le monde technologique, et les avancées et les mises à jour ne manquent pas. Mais malgré l’utilisation d’une technologie avancée, il y a quelques facteurs limitants dans la version actuelle.
L’un de ces facteurs est le système de jetons, qui continue de rompre le cycle d’évolution, mettant à mal l’utilité de l’application. Si vous utilisez ChatGPT, vous voudrez peut-être en savoir plus sur les jetons de ChatGPT et sur ce qu’il faut faire lorsque vous n’avez plus de jetons.
Prenons un peu de recul et donnons un aperçu de tout ce qu’il y a à savoir sur les mécanismes de fonctionnement sous-jacents de l’application.
Qu’est-ce qu’un jeton ChatGPT ?
Si vous vous fiez à la façade de l’application, tout ce que vous voyez est un langage informatique qui obéit à vos commandes et vous donne les réponses que vous cherchez. Cependant, le backend n’est rien d’autre que du code, qui apprend à chaque instant et se met au diapason des questions auxquelles il répond.
ChatGPT convertit chaque mot en un jeton lisible chaque fois que vous posez une question. Pour aller plus loin, les jetons sont des fragments de texte, et chaque langage de programmation utilise un ensemble différent de valeurs de jetons pour comprendre les exigences.
Comme les ordinateurs ne comprennent pas directement les valeurs textuelles, ils les décomposent en une combinaison de nombres, souvent appelée embeddings. Vous pouvez même considérer les intégrations comme des listes Python, qui ressemblent à une liste de nombres apparentés, tels que [1.1,2.1,3.1,4.1…n].
Une fois que ChatGPT a reçu l’entrée initiale, il tente de prédire la prochaine entrée possible sur la base des informations précédentes. Il sélectionne la liste complète des mots-clés précédents et, en utilisant sa synthèse de codage, tente d’anticiper l’entrée suivante de l’utilisateur. Il utilise et prédit un jeton à la fois afin de simplifier la compréhension de l’usage par le langage.
Pour améliorer les prédictions et la précision, il reprend toute la liste des enchâssements et la fait passer par des couches de transformation afin d’établir des associations entre les mots. Par exemple, lorsque vous posez une question telle que « Qui est Thomas Edison ? », ChatGPT retient les mots les plus utiles de la liste : Qui et Edison.
Les couches de transformation ont leur rôle à jouer dans l’ensemble du processus. Ces couches sont une forme d’architecture de réseau neuronal entraînée à sélectionner les mots-clés les plus pertinents à partir d’une chaîne de mots. Toutefois, le processus de formation n’est pas aussi simple qu’il y paraît, car il faut beaucoup de temps pour former des couches de transformateurs sur des gigaoctets de données.
Même si ChatGPT ne prédit qu’un seul mot à la fois, sa technologie auto-régressive est programmée pour prédire et alimenter le modèle principal afin de…
Lire la suite de l’article sur encause.fr
