Atunci când se utilizează `tf.distribute.MirroredStrategy` pentru antrenarea pe mai multe GPU-uri, cum este procesat un batch de date?

Question

Answer

Întregul batch de date este procesat secvențial pe fiecare GPU, unul după altul.

Answer

Un "batch global" este împărțit în "batch-uri locale" mai mici, fiecare fiind procesat de o replică a modelului pe un GPU diferit.

Answer

Modelul este împărțit pe GPU-uri, fiecare GPU procesând un strat diferit al modelului.

Answer

Doar un singur GPU este folosit pentru antrenament, celelalte fiind folosite pentru validare.

Crowdly