Egy nagyobb, úgynevezett tanító modellt használunk arra, hogy egy kisebb méretű modellt finomhangoljuk, hogy imitálja a tanító modell viselkedését.

Egy iteratív folyamat, amely úgy próbálja csökkenteni egy modell méretét, hogy minden egyes iterációban megpróbál elhagyni részeket a modellből, amelyek elhanyagolható hatással vannak a modell kimenetére.

A modell súlyait (paramétereit) alacsonyabb pontossággal tároljuk és használjuk (pl. 32 bit helyett 16 biten).