Чому небажано розміщувати "важкий" код (мережеві запити, читання великих файлів, імпорт важких ML‑бібліотек) у top-level секції DAG‑файлу Airflow?

Question

Answer

Top‑level код виконується лише один раз при ініціалізації БД Airflow, тому зміни в ньому не можуть застосовуватись без міграцій.

Answer

Top‑level код компілюється в DAG‑серіалізацію, тому будь-які зовнішні виклики автоматично блокуються політиками безпеки.

Answer

Top‑level код виконується для кожної task instance на worker, тому важкі імпорти дублюються під час кожного виконання задачі.

Answer

Scheduler і Webserver регулярно обробляють DAG‑файли, тому top‑level код збільшує час обробки й деградує планування та масштабованість.

Crowdly