Transformer saab töödelda erinevaid modaalsusi ainult siis, kui need teisendatakse esmalt tekstilisteks kirjeldusteks.

Transformer saab siduda erinevaid modaalsusi ainult siis, kui need esitatakse sama modaalsuse andmetena.

Transformer saab töödelda erinevaid modaalsusi ühise sisendjadana ainult siis, kui need on esitatud tookenitena.

Transformer saab võrrelda erinevaid modaalsusi ainult siis, kui need sisaldavad sama arvu tookeneid.

3D CNN kasutab video töötlemisel sügavamaid närvivõrke, samas kui 2D CNN kasutab madalama kihilisusega arhitektuure.

3D CNN esitab video ühe pideva signaalina, samas kui 2D CNN kasutab diskreetseid kaadreid.

3D CNN kasutab filtreid, mis liiguvad lisaks kõrgusele ja laiusele ka ajamõõtmes, samas kui 2D CNN töötleb üksikuid kaadreid.

3D CNN teisendab video enne töötlemist järjestikusteks pilditükikesteks, samas kui 2D CNN kasutab terveid kaadreid.

Mudel õpib ennustama, millised visuaalsed tunnused vastavad tekstilistele kirjeldustele.

Mudel võrdleb pildi representatsiooni tekstiliste kirjelduste representatsioonidega ühises vektorruumis.

Mudel õpib genereerima piltidele tekstilisi kirjeldusi ja kasutab neid klasside määramiseks.

Mudel teisendab tekstilised kirjeldused fikseeritud klassisiltideks enne nende kasutamist.

Mudel õpib genereerima piltidest tekstilisi kirjeldusi ning võrdlema neid õigete tekstidega.

Mudel õpib viima seotud piltide ja tekstide representatsioonid lähestikku ning mitteseotud paarid üksteisest kaugemale.

Mudel õpib teisendama pildid ja tekstid ühisteks tookenijadadeks ning töötlema neid koos.

Mudel õpib siduma pildid eeldefineeritud tekstiklassidega ning ennustama neile vastavaid silte.

Süsteem, mis analüüsib video kaadreid järjestikku ja ennustab igas kaadris nähtavad objektid.

Süsteem, mis genereerib tekstilise kirjelduse pildi põhjal kooder-dekooder arhitektuuri abil.

Süsteem, mis paigutab pildid ja tekstid samasse vektorruumi, et hinnata nende semantilist sarnasust.

Süsteem, kus kõnetuvastus teisendab heli tekstiks ja masintõlge teisendab selle teise keelde.

Sagedused teisendatakse väärtusteks, mis sõltuvad signaali amplituudist

Madalamad sagedused esitatakse suurema eristusvõimega ja kõrgemad sagedused surutakse kokku

Sagedused teisendatakse uuele skaalale lineaarselt, muutes skaala alumist ja ülemist otspunkti vastavalt inimese tajuvõimekusele

Madalamad sagedused surutakse kokku ja kõrgemad sagedused esitatakse suurema eristusvõimega

Diskreetimine määrab ajapunktid, millel signaali mõõdetakse, kvantimine määrab signaali sageduskomponendid

Diskreetimine määrab ajapunktid, millel signaali mõõdetakse, kvantimine määrab signaali keskmise väärtuse ajas

Diskreetimine määrab väärtustasemed, millele signaal ümardatakse, kvantimine määrab ajapunktid, millel signaali mõõdetakse

Diskreetimine määrab ajapunktid, millel signaali mõõdetakse, kvantimine määrab väärtustasemed, millele mõõtmised ümardatakse

Kuidas sageduskomponentide tugevus jaotub sageduste lõikes eri sagedusvahemikes

Kuidas signaali energiatasemed jaotuvad ajas eri signaaliväärtuste lõikes

Kuidas signaali amplituud jaotub ajas eri ajahetkedel

Kuidas sageduskomponentide tugevus jaotub sageduste lõikes eri ajahetkedel

STFT teisendab signaali sagedusruumi, vähendades sageduskomponentide arvu igas ajavahemikus

STFT rakendab Fourier’ teisendust lühikestele signaali lõikudele, et kirjeldada sageduskoostise muutumist ajas

STFT teisendab signaali sagedusruumi viisil, mis ei sõltu signaali ajalisest struktuurist

STFT rakendab Fourier’ teisendust kogu signaalile, kuid erineva ajasammuga

Helisignaali jagamine lühikesteks ajavahemikeks sagedusanalüüsi jaoks

Helisignaali teisendamine spektrogrammiks enne edasist töötlemist

Helisignaali esitamine ajas muutuvate tunnustena mudeli sisendiks

Spektrogrammist helisignaali rekonstrueerimine eraldi mudeli abil