Iga sõna esitatakse suurema dimensiooniga vektorina, mis sisaldab rohkem infot.

Mudel kasutab suuremat sõnastikku, mis võimaldab rohkem tähendusi eristada.

Iga sõna representatsioon arvutatakse ümber, võttes arvesse teisi sõnu samas lauses.

Sõnade järjekord kodeeritakse eksplitsiitselt, mis määrab tähenduse.