如何理解airflow中的execution_date

chenzuoli 2022-01-07 12:09:49 阅读数:644

理解 airflow execution_date execution date

標題: 如何理解airflow中的execution_date
日期: 2021-11-11 20:55:45
標簽: [airflow]
分類: 調度系統

大家好,我是Lee,今天說下貫穿airflow調度系統的基礎變量execution_date,它怎麼理解。

logo

airflow調度單元是dag,每到dag該運行的時候,airflow就會啟動一個dag_run實例,該實例存儲在dag_run錶中,這張錶中的主鍵是:dag_id和execution_date,即錶示每個dag在同一時刻,只能啟動一個實例。

所以,execution_date是airflow中任務的計劃執行時間

當然,錶中還有start_date,end_date,這兩個時間字段,是dag任務的實際啟動時間和結束時間,因為在airflow在輪詢dag文件到發現該dag需要啟動起來時,是有**時間差(實際啟動時間-計劃啟動時間)**的,當系統資源一定時,任務數(dag文件)越多時,這個時間差就會越大。

dog

還有,dag中的每個task,也是有著三個字段的:execution_date、start_date、end_date,他們都存儲在task_instance錶中,記錄每個task對應的運行記錄。

好了,今天就說到這兒。


吾之初心,永世不忘。

歡迎關注我的微信公眾號,比較喜歡分享知識,也喜歡寵物,所以做了這2個公眾號:
程序員寫書

喜歡寵物的朋友可以關注:【電巴克寵物Pets】
電巴克寵物

一起學習,一起進步。

版权声明:本文为[chenzuoli]所创,转载请带上原文链接,感谢。 https://gsmany.com/2022/01/202201071209488993.html