* Badge Intelligence Artificielle générative Course Materials & Test Answers | moodle.myefrei.fr

Associez les descriptions aux étapes de l'algorithme Transformers.

L'algorithme a divisé l'invite en tokens, puis les a vectorisés dans une matrice avec des millions de paramètres. Cette représentation combinée capture à la fois le sens sémantique possible des tokens et leur position dans la séquence d'entrée.

La dernière étape consiste à générer le prochain token en échantillonnant à partir de cette distribution, donc ce processus classe simplement ces tokens en fonction de leur probabilité d'être ce prochain mot.

Il comprend l'auto-attention multi-tête et une couche de perceptron multicouche. Les représentations de tokens évoluent à travers les couches, permettant au modèle de créer des relations entre chaque token.

View this question

Crowdly

* Badge Intelligence Artificielle générative

Want instant access to all verified answers on moodle.myefrei.fr?