Nende treeningeesmärgid on erinevad: BERT täidab lünki, GPT ennustab järgmist sõna.

BERT treenitakse märgendatud andmetel, GPT märgendamata andmetel.

Nende tähelepanumehhanismid on erinevad: BERT kasutab enesetähelepanu, GPT ei kasuta.

BERT kasutab kogu lauset sisendina, samas kui GPT jagab teksti väiksemateks osadeks enne töötlemist