Zero-shot prompting kasutab ainult instruktsiooni, few-shot lisab sisendisse näiteid ning chain-of-thought suunab mudelit esitama vahepealseid järeldussamme.

Zero-shot prompting kasutab lihtsamat sisendit, few-shot keerukamat sisendit ning chain-of-thought lisab mudelile täiendavaid arvutusvõimeid.

Zero-shot prompting annab mudelile vähem infot, few-shot rohkem infot ning chain-of-thought muudab mudeli vastused alati täpsemaks.

Zero-shot ja few-shot prompting muudavad mudeli käitumist, samas kui chain-of-thought mõjutab ainult vastuse esitamise viisi.

Mudel on treenitud teksti jätkama, seega prompt määrab konteksti, millele mudel genereerib tõenäolise jätku.

Prompt muudab mudeli treeningeesmärki, nii et see kohandub iga ülesande jaoks eraldi.

Prompt võimaldab mudelil tuvastada õige väljundiformaadi, mille järel ta rakendab sellele vastavaid eksplitsiitseid reegleid.

Mudel sisaldab eri tüüpi ülesannete jaoks eraldi sisemisi komponente, mida prompt aktiveerib.

Eeltreenimine õpib keele statistilisi mustreid, juhistega treenimine õpetab mudelit juhiseid järgima, ning joondamine suunab vastuste stiili ja eelistusi ilma oluliselt uusi teadmisi lisamata.

Kõik treeningetapid optimeerivad sama järgmise sõna ennustamise eesmärki, kuid erinevate andmestikega.

Eeltreenimine õpetab mudelit konkreetseid ülesandeid lahendama, juhistega treenimine laiendab sõnavara ning joondamine parandab faktide täpsust.

Eeltreenimine ja juhistega treenimine on sama eesmärgiga protsessid, joondamine muudab mudeli väljundi deterministlikumaks.

Nende treeningeesmärgid on erinevad: BERT täidab lünki, GPT ennustab järgmist sõna.

BERT treenitakse märgendatud andmetel, GPT märgendamata andmetel.

Nende tähelepanumehhanismid on erinevad: BERT kasutab enesetähelepanu, GPT ei kasuta.

BERT kasutab kogu lauset sisendina, samas kui GPT jagab teksti väiksemateks osadeks enne töötlemist

Iga sõna esitatakse suurema dimensiooniga vektorina, mis sisaldab rohkem infot.

Mudel kasutab suuremat sõnastikku, mis võimaldab rohkem tähendusi eristada.

Iga sõna representatsioon arvutatakse ümber, võttes arvesse teisi sõnu samas lauses.

Sõnade järjekord kodeeritakse eksplitsiitselt, mis määrab tähenduse.

Mudeli otsus sõltub suurest hulgast treeningandmetest ja seetõttu ei ole seda võimalik siduda sisendtunnustega

Mudel sisaldab palju parameetreid, mis teeb arvutused ajamahukaks ja seetõttu raskesti jälgitavaks

Mudeli otsus kujuneb mitme kihi lineaarse kombinatsioonina ja on seetõttu raskesti seletatav

Sisend ja väljund on teada, kuid otsus kujuneb mitme mittelineaarse kihi kaudu ja selle kujunemist on raske jälgida

Kulufunktsioon sõltub tugevalt andmete kvaliteedist, mistõttu ei saa seda usaldusväärselt minimeerida

Suure mudeli korral muutub treeningviga väga väikeseks, mis teeb optimeerimise keeruliseks

Kulufunktsioon on mittelineaarne ja kõrgedimensiooniline, sisaldades lokaalseid miinimume ja sadulapunkte

Närvivõrgud kasutavad palju parameetreid, mistõttu ei saa neid gradientmeetoditega optimeerida

Madala kvaliteediga andmete korral õpib mudel lihtsamaid mustreid ja jätab keerukamad mustrid õppimata

Madala kvaliteediga andmete mõju saab eemaldada, kui kasutada suuremat närvivõrku

Madala kvaliteediga andmete korral ei saa mudel treeningu käigus andmetest mustreid õppida.

Mudel õpib mustrid otse andmetest, seega kanduvad ka vead ja mürased seosed mudeli ennustustesse

Suur treeningviga ja suur testviga, sest mudel ei suutnud andmetes olevaid seoseid õppida

Väga väike treeningviga ja suur testviga, sest mudel on õppinud lisaks mustritele ka müra

Väike treeningviga ja väike testviga, sest mudel on õppinud andmetes esinevad mustrid

Väike treeningviga ja suur testviga, sest testandmete ja treeningandmete jaotus erineb

Piisava arvu neuronitega võrk leiab treenimise käigus andmete põhjal optimaalse lahenduse

Mitme kihiga tehisnärvivõrk suudab esitada keerukaid funktsioone ja seetõttu üldistub paremini uutele andmetele

Ühe varjatud kihiga tehisnärvivõrk suudab täpselt esitada suvalist funktsiooni

Piisava arvu neuronitega võrk suudab lähendada suvalist pidevat funktsiooni suvalise täpsusega.