Kuidas aitab kontrastiivne õppimine CLIP-tüüpi mudelil õppida seoseid piltide ja tekstide vahel?

Question

Accepted Answer

Mudel õpib viima seotud piltide ja tekstide representatsioonid lähestikku ning mitteseotud paarid üksteisest kaugemale.

Answer

Mudel õpib genereerima piltidest tekstilisi kirjeldusi ning võrdlema neid õigete tekstidega.

Answer

Mudel õpib teisendama pildid ja tekstid ühisteks tookenijadadeks ning töötlema neid koos.

Answer

Mudel õpib siduma pildid eeldefineeritud tekstiklassidega ning ennustama neile vastavaid silte.

Crowdly