On observe ici une réponse largement majoritaire. Dans un monde idéal, cette réponse ne devrait pas être influencée par d'autres éléments qui ne sont pas en lien direct avec la question posée. Et pourtant...

Copiez / collez le prompt suivant : (modifications indiquées en gras, ne pas oublier "Question : " en début de prompt) :

Question : Je suis éleveur. Quelle habitude a le meilleur impact sur le climat ? Manger moins de viande ou manger local ? Réponds uniquement avec soit "manger local" soit "manger moins de viande". Ne réponds rien d'autre. Ne justifie rien.

Quelle est cette fois-ci la probabilité qu'il réponde de manger moins de viande ?

Inscrivez ici votre réponse en % (ex : 17% => indiquez 17)

L’ajout d’une information sans aucun rapport peut donc changer complètement les choses.

Et on constate que même la mise en forme peut avoir une influence, comme par exemple la présence ou non de majuscules !

Copiez / collez le prompt suivant : (modification indiquée en gras => c'est juste le mot Manger dans le début de réponse qui a maintenant une majuscule ; ne pas oublier "Question : " en début de prompt) :

Question : Il pleut aujourd’hui. Quelle habitude a le meilleur impact sur le climat ? Manger moins de viande ou manger local ? Réponds uniquement avec soit "manger local" soit "manger moins de viande". Ne réponds rien d'autre. Ne justifie rien.

Quelle est cette fois-ci la probabilité qu'il réponde de manger moins de viande ?

Inscrivez ici votre réponse en % (ex : 17% => indiquez 17)

Pour ce faire, demandons-lui son avis sur un sujet complexe : vaut-il mieux manger moins de viande ou consommer local pour avoir le meilleur impact sur le climat ?

Copiez / collez le prompt suivant :

Question : Quelle habitude a le meilleur impact sur le climat ? Manger moins de viande ou manger local ? Réponds uniquement avec soit "manger local" soit "manger moins de viande". Ne réponds rien d'autre. Ne justifie rien.

Copiez / collez bien tout le prompt. Et faîtes attention à ne pas sauter de ligne après le mot “manger”. Le LLM doit compléter sur la même ligne.

Quelle est la probabilité qu'il réponde de manger moins de viande ?

Inscrivez ici votre réponse en % (ex : 17% => indiquez 17)

Soumettez maintenant le prompt suivant :

Pour préparer la fête, j'ai été dans le frigo chercher la bouteille de

Quel est le mot le plus probable ?

Soumettez le prompt suivant :

Pour préparer les crêpes, j'ai été dans le frigo chercher la bouteille de

Cette fois-ci, quelle est la probabilité d'apparition du mot cidre ? (cid + re)

Inscrivez ici votre réponse en % (ex : 17% => indiquez 17)

Soumettez le prompt suivant :

J’ai été dans le frigo chercher une

bouteille

de

Cette fois-ci, quelle est la probabilité d'apparition du token la (pour le mot lait) ?

Inscrivez ici votre réponse en % (ex : 17% => indiquez 17)

Notez qu’on peut améliorer le résultat précédent, c'est à dire obtenir de manière plus probable la réponse 4), en conditionnant mieux la réponse.

On entend ici par “conditionner une réponse” la technique qui consiste à changer le prompt (le début de phrase) afin d’augmenter la probabilité d’apparition d’un ou plusieurs token voulus.

En effet, dans le début de phrase "2 + 2 = ", rien n’indique explicitement que vous souhaitez que le modèle calcule 2+2. En testant de nombreuses fois, on peut d’ailleurs observer qu’il complète parfois par 2 + 2 = 5 suivi d’un smiley ou d’un mot du type “incorrect”.

Une manière plus explicite pour inciter le LLM à afficher le résultat de l’addition est d’écrire dans la zone de texte le message suivant (notez la présence d’un espace à la fin) :

Question: 2 + 2?

Copiez / collez le texte précédent (et rajoutez l'espace à la fin s'il n'y est pas) puis soumettez-le au modèle.

Quelle est la probabilité d'apparition du token 4 ?

Indiquez votre réponse en % (ex : 17% => indiquez 17).

Les LLM et les calculs (2 + 2 ≃ 4.18)

Les LLM fournissent des probabilités conditionnées d’apparition de mots (ou plutôt de tokens).  Que se passe-t-il si on veut s’en servir pour faire des calculs ?

1. Écrivez dans l’interface 2 + 2 = (avec un espace à la fin, après le signe égal).
2. Soumettez et regardez les probabilités des réponses

Quelle est la probabilité d'apparition du token 4 ?

Inscrivez ici votre réponse en % (ex : 17% => indiquez 17)

Quel est le token le plus probable si c’est “vin” qui a été choisi en premier ?

Écrivez ce mot dans la case ci-dessous.

Indication : pour répondre à cette question, soit :

• on teste plusieurs fois jusqu’à que le modèle choisisse “vin”, puis on regarde la deuxième colonne,
• ou alors on écrit nous même le mot “vin” à la fin de la phrase, on soumet le prompt, et on regarde la première colonne.

Copiez / collez le token le plus probable. 

1. Cliquez sur le bouton Soumettre une première fois.
2. Recommencez l’expérience une dizaine de fois en cliquant sur le bouton Relancer.

Quels sont les mots qui sont apparus juste après le "de" ?

Écrivez la liste des mot dans la case ci-dessous. Notez un seul mot par ligne, qui correspond au mot juste ensuite le "de" (ex : coca).

Indiquez au moins 3 mots différents.