Під час увімкнення DAG із параметрами schedule="@hourly" , start_date , встановленою на два місяці раніше, і catchup=True , планувальник створює сотні історичних DAG run та суттєво перевантажує кластер. Яка дія є найбільш коректною для production-сценарію?

Question

Під час увімкнення DAG із параметрами  schedule="@hourly" ,  start_date , встановленою на два місяці раніше, і  catchup=True , планувальник створює сотні історичних DAG run та суттєво перевантажує кластер. Яка дія є найбільш коректною для production-сценарію?

Answer

Залишити  catchup=True , але збільшити ресурси кластера, оскільки планувальник має обробити всю пропущену історію перед переходом до нормального режиму роботи.

Answer

Вимкнути  catchup  для цього DAG, якщо масове дообчислення історичних інтервалів не є бізнес-вимогою, і запускати лише актуальні інтервали або виконувати backfill окремо, контрольовано.

Answer

Змінити  schedule  з  @hourly  на  @daily , щоб зменшити кількість автоматично створених запусків без зміни політики  catchup .

Answer

Перенести  start_date  ще далі в минуле, але одночасно обмежити кількість активних tasks, щоб планувальник поступово обробив історичні запуски без пікового навантаження.

Crowdly

Під час увімкнення DAG із параметрами schedule="@hourly" , start_date , встано...

Want instant access to all verified answers on vns.lpnu.ua?