DAGs. Hava axınında DAG – və ya a yönəldilmiş Asiklik Qrafik – yerinə yetirmək istədiyiniz bütün tapşırıqların toplusudur, onların əlaqələri və asılılıqlarını əks etdirən şəkildə təşkil edilir.
Hava axınında DAG-ları necə edirsiniz?
Hava axınında DAG yaratmaq üçün siz həmişə DAG sinifini idxal etməlisiniz DAG sinifindən sonra Operatorların idxalı gəlir. Əsasən, istifadə etmək istədiyiniz hər bir Operator üçün müvafiq idxalı etməlisiniz. Məsələn, siz Python funksiyasını yerinə yetirmək istəyirsinizsə, PythonOperator-u idxal etməlisiniz.
Airflow DAG-ları harada axtarır?
Airflow qlobal ad məkanında DAG obyektləri olan modullar üçün DAGS_FOLDER-a baxır və DagBag-da tapdığı obyektləri əlavə edir.
Airflow DAG-ları necə saxlayır?
Apache Hava axını Metaməlumat bazası:
Metaməlumat bazası konfiqurasiyaları saxlayır, dəyişənlər və əlaqələr kimi O, həmçinin istifadəçi məlumatlarını, rolları və siyasətləri saxlayır. Nəhayət, Planlaşdırıcı bütün DAG-ları təhlil edir və cədvəl intervalları, hər bir qaçışdan statistik məlumatlar və onların tapşırıqları kimi müvafiq metadatanı saxlayır.
Airflow ETL alətidirmi?
Hava axını özbaşına ETL aləti deyil. Lakin o, yönləndirilmiş asiklik qrafiklər (DAGs) adlı bir şeydən istifadə edərək ETL boru kəmərlərini idarə edir, strukturlaşdırır və təşkil edir. … Metadata verilənlər bazası iş axınlarını/tapşırıqları (DAG) saxlayır.
