Transformerid õpivad tähelepanumehhanismi abil lokaalseid mustreid, konvolutsioonilised võrgud võimaldavad suurte retseptiivsete väljade abil õppida globaalseid seoseid

Konvolutsioonilised võrgud õpivad kõigepealt lokaalseid mustreid, transformerid võimaldavad kohe otsesemaid globaalseid seoseid modelleerida

Kuna konvolutsiooniliste võrkude filtrid töötavad lokaalselt, ei suuda CNN-id, erinevalt transformerist, õppida globaalseid seoseid

Konvolutsioonilised võrgud ja transformerid saavutavad globaalse konteksti peamiselt suuremate treeningandmete abil