很幹很實用!分佈式的任務調度及分佈式計算框架

2024年2月6日 21点热度 0人点赞

真正的大師,永遠都懷著一顆學徒的心!

一、項目簡介

很幹很實用!分佈式的任務調度及分佈式計算框架

二、實現功能

觸發類型:

在任務編排系統中,觸發類型指的是觸發任務執行的方式。常見的觸發類型包括:

手動觸發:用戶手動點擊執行按鈕或通過命令行輸入指令來觸發任務的執行。

定時觸發:根據預設的時間規則,在指定的時間點或時間間隔內自動觸發任務的執行。例如,每天凌晨執行一次、每隔一小時執行一次等。

條件觸發:當滿足某些條件時,自動觸發任務的執行。條件可以是系統狀態的變化、外部事件的觸發、數據的更新等。

任務編排:

任務編排是指將多個任務按照特定的邏輯和順序組織起來,形成一個完整的工作流程。在任務編排中,可以定義任務之間的依賴關系、執行順序、並發度等。

任務編排系統通常提供圖形化界面或編程接口,用於創建和管理任務編排。通過任務編排,可以實現復雜的業務邏輯和流程控制,提高任務執行的效率和可靠性。

任務分片:

任務分片是指將一個大型任務拆分成多個小任務進行並行執行。任務分片可以提高任務的執行速度和資源利用率,同時降低單個任務執行的風險。

任務分片通常需要考慮任務之間的依賴關系和執行順序,確保分片後的任務能夠正確地並行執行,並在所有分片執行完成後進行合並或下一步處理。

停止與恢復:

停止與恢復是指在任務執行過程中,暫停任務的執行並保存當前的執行狀態,然後再次啟動時從保存的狀態處繼續任務的執行。

停止任務可以是手動操作或通過條件觸發。當任務被停止時,系統會保存任務的執行環境、運行日志等信息,以便後續恢復任務時使用。

保存執行快照:

保存執行快照是指將任務在執行過程中的狀態和數據保存下來,以便在需要時可以恢復到該狀態,繼續任務的執行。

執行快照通常包括任務的輸入輸出數據、運行日志、執行進度等信息。保存執行快照可以提高任務執行的可靠性和靈活性,同時減少重新執行任務的成本。

失敗重試:

失敗重試是指在任務執行失敗後,自動進行重試操作,以嘗試解決任務執行失敗的問題,並繼續任務的執行。

失敗重試通常會根據預設的重試策略和次數,進行自動的重試操作。重試策略可以根據任務的性質和執行環境進行配置,以達到最佳的重試效果。

後臺管理:

後臺管理是指通過任務編排系統的管理界面或接口,對任務進行創建、配置、監控和管理等操作。

後臺管理可以包括任務編排的創建、編輯和刪除,觸發類型和觸發條件的配置,任務執行狀態的監控和調度,以及執行日志和報告的查看等功能。

監控告警:

監控告警是指對任務執行過程中的關鍵指標和異常情況進行實時監控,並在出現問題時發送告警通知。

監控指標可以包括任務的執行進度、運行時間、資源占用情況等。異常情況可以是任務執行失敗、執行超時、資源不足等。

查看執行日志:

查看執行日志是指通過任務編排系統的管理界面或接口,查看任務執行過程中產生的日志信息。

執行日志記錄了任務的執行詳情、輸入輸出數據、運行狀態、錯誤信息等。通過查看執行日志,可以了解任務的執行情況,排查問題並進行故障診斷。

三、技術選型

html css js

mysql

redis

nacos

zookeeper

四、界面展示

五、源碼地址

私信回復:89