DolphinScheduler—— 項目管理

2024年2月6日 22点热度 0人点赞

註意事項

1.實時任務的依賴關系 : 若DAG中包含了實時任務的組件,則實時任務的關聯關系顯示為虛線,在執行工作流實例的時候會跳過實時任務的執行;

2.刪除依賴關系 : 選中需要刪除的連接線,點擊右上角"刪除"圖標,刪除任務間的依賴關系;

3.執行策略

點擊保存工作流時,頁面會有 執行策略 選項(默認選項是並行);

前提條件 : 對於同一個工作流定義,同時有多個工作流實例才滿足;

執行策略

描述

並行

並行執行工作流實例。

串行等待

串行執行工作流實例。

串行拋棄

拋棄後生成的工作流實例,直接執行正在跑的實例。

串行優先

按照優先級順序先執行優先級高的工作流實例,在執行優先級低的工作流實例。

單個工作流支持的操作

  • 編輯: 隻能編輯"下線"的工作流定義。工作流DAG編輯同創建工作流定義。
  • 上線: 工作流狀態為"下線"時,上線工作流,隻有"上線"狀態的工作流能運行,但不能編輯。
  • 下線: 工作流狀態為"上線"時,下線工作流,下線狀態的工作流可以編輯,但不能運行。
  • 運行: 隻有上線的工作流能運行。運行操作步驟見運行工作流。
  • 定時: 隻有上線的工作流能設置定時,系統自動定時調度工作流運行。創建定時後的狀態為"下線",需在定時管理頁面上線定時才生效。定時操作步驟見工作流定時
  • 定時管理: 定時管理頁面可編輯、上線/下線、刪除定時。
  • 刪除: 刪除工作流定義。在同一個項目中,隻能刪除自己創建的工作流定義,其他用戶的工作流定義不能進行刪除,如果需要刪除請聯系創建用戶或者管理員。
  • 下載: 下載工作流定義到本地。
  • 復制: 在當前項目下,根據當前工作流復制出一個新的工作流,新工作流的名稱會在原工作流名稱的基礎上加上後綴_copy_<date>。
  • 導出: 導出工作流定義json文件。
  • 版本信息: 查看工作流版本信息,可在版本信息列表中切換工作流版本。
  • 樹形圖: 以樹形結構展示任務節點的類型及任務狀態。

工作流批量操作

選中多個工作流後,可以在工作流定義列表底部執行批量操作,如下:

  • 批量刪除: 批量刪除多個工作流定義。
  • 批量導出: 批量導出多個工作流定義到一個json文件。
  • 批量復制: 批量復制多個工作流定義,可選擇在哪個項目下生成復制的工作流。

工作流運行參數說明

  • 失敗策略:當某一個任務節點執行失敗時,其他並行的任務節點需要執行的策略。”繼續“表示:某一任務失敗後,其他任務節點正常執行;”結束“表示:終止所有正在執行的任務,並終止整個流程。
  • 通知策略:當流程結束,根據流程狀態發送流程執行信息通知郵件,包含任何狀態都不發,成功發,失敗發,成功或失敗都發。
  • 流程優先級:流程運行的優先級,分五個等級:最高(HIGHEST),高(HIGH),中(MEDIUM),低(LOW),最低(LOWEST)。當 master 線程數不足時,級別高的流程在執行隊列中會優先執行,相同優先級的流程按照先進先出的順序執行。
  • Worker 分組:該流程隻能在指定的 worker 機器組裡執行。默認是 Default,可以在任一 worker 上執行。
  • 通知策略:選擇通知策略||超時報警||發生容錯時,會發送流程信息或郵件到通知組裡的所有成員。
  • 啟動參數: 在啟動新的流程實例時,設置或覆蓋全局參數的值。
  • 補數:指運行指定日期范圍內的工作流定義,根據補數策略生成對應的工作流實例,補數策略包括串行補數、並行補數 2 種模式。

日期可以通過頁面選擇或者手動輸入,日期范圍是左關右關區間(startDate <= N <= endDate)

串行補數:指定時間范圍內,從開始日期至結束日期依次執行補數,依次生成多條流程實例;點擊運行工作流,選擇串行補數模式:例如從7月 9號到7月10號依次執行,依次在流程實例頁面生成兩條流程實例。

並行補數: 指定時間范圍內,同時進行多天的補數,同時生成多條流程實例。手動輸入日期:手動輸入以逗號分割日期格式為 yyyy-MM-dd HH:mm:ss 的日期。點擊運行工作流,選擇並行補數模式:例如同時執行1月30號到1月31號的工作流定義,同時在流程實例頁面生成兩條流程實例(執行策略為串行時流程實例按照策略執行)。

並行度:是指在並行補數的模式下,最多並行執行的實例數。例如同時執行1月30號到1月31號的工作流定義。

依賴模式:是否觸發下遊依賴節點依賴到當前工作流的工作流實例的補數(要求當前補數的工作流實例的定時狀態為已上線,隻會觸發下遊直接依賴到當前工作流的補數)。

日期選擇:

1. 通過頁面選擇日期:

2. 手動輸入:

補數與定時配置的關系:

1.未配置定時或已配置定時並定時狀態下線:根據所選的時間范圍結合定時默認配置(每天0點)進行補數,比如該工作流調度日期為1月30號到1月31號,流程實例為:

2.已配置定時並定時狀態上線:根據所選的時間范圍結合定時配置進行補數,比如該工作流調度日期為7月7號到7月10號,配置了定時(每日凌晨5點運行),流程實例為:

單獨運行任務

點擊工作流實例進入工作流編輯界面,看不到運行選項

工作流定時

1.創建定時:點擊項目管理->工作流->工作流定義,進入工作流定義頁面,上線工作流,點擊"定時"按鈕,彈出定時參數設置彈框,如下圖所示:

  • 失敗策略、通知策略、流程優先級、Worker 分組、通知組、收件人、抄送人同工作流運行參數。
  • 點擊"確定"按鈕,創建定時成功,此時定時狀態為"下線",定時需上線才生效。

2.定時上線:點擊"定時管理"按鈕,進入定時管理頁面,點擊"上線"按鈕,定時狀態變為"上線",如下圖所示,工作流定時生效。

導入工作流

點擊項目管理->工作流->工作流定義,進入工作流定義頁面,點擊"導入工作流"按鈕,導入本地工作流文件,工作流定義列表顯示導入的工作流,狀態為下線。