У DAG потрібно перевірити "чи є нові дані". Якщо нових даних немає, весь downstream має бути пропущений (skipped), а DAG-run - завершений без помилки. Який інструмент є найбільш коректним?

Question

Answer

Використовує ShortCircuitOperator для пропуску всіх downstream-задач, з прогнозованим статусом skipped і без деградації на рівні fail.

Answer

Використовує ExternalTaskSensor, бо сенсор автоматично пропускає downstream-задачі, якщо не знайдено даних у джерелі.

Answer

Використовує SLA miss callback, бо SLA автоматично завершує DAG-run успішно і ставить downstream-задачі в skipped.

Answer

Використовує PythonOperator і кидає Exception, бо це "швидко зупиняє" DAG і робить пропуск downstream як побічний ефект.

Crowdly

У DAG потрібно перевірити "чи є нові дані". Якщо нових даних немає, весь downstr...

Want instant access to all verified answers on vns.lpnu.ua?