Miks transformer-arhitektuur võimaldab modelleerida konteksti paremini kui staatilised sõnavektorid?

Question

Accepted Answer

Iga sõna representatsioon arvutatakse ümber, võttes arvesse teisi sõnu samas lauses.

Answer

Iga sõna esitatakse suurema dimensiooniga vektorina, mis sisaldab rohkem infot.

Answer

Mudel kasutab suuremat sõnastikku, mis võimaldab rohkem tähendusi eristada.

Answer

Sõnade järjekord kodeeritakse eksplitsiitselt, mis määrab tähenduse.

Crowdly