Schedulis是一個(gè)是一個(gè)基于LinkedIn的開(kāi)源項(xiàng)目Azkaban開(kāi)發(fā)的工作流任務(wù)調(diào)度系統(tǒng)。通過(guò)去中心化多調(diào)度中心和多執(zhí)行器和租戶資源隔離等金融級(jí)特性,可以解決金融級(jí)場(chǎng)景下,大量批量作業(yè)任務(wù)的復(fù)雜依賴、靈活調(diào)度。Schedulis支持常規(guī)的Command Shell和Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大數(shù)據(jù)任務(wù);同時(shí)還支持特色的數(shù)據(jù)檢查和工作流之間的依賴任務(wù);支持完善的告警和工作流執(zhí)行策略;提供多種類型的參數(shù)設(shè)置,動(dòng)態(tài)全局變量和簡(jiǎn)單易用的 UI。
軟件特色
與DataSphere Studio和Linkis的對(duì)接:
DataSphere Studio可以將編輯好的工作流一鍵發(fā)布到Schedulis進(jìn)行調(diào)度,而Schedulis也實(shí)現(xiàn)了Linkis插件,用于向Linkis提交任務(wù),這樣使得Schedulis與DataSphere Studio和Linkis能夠無(wú)縫銜接,從而實(shí)現(xiàn)數(shù)據(jù)應(yīng)用開(kāi)發(fā)全流程的連貫順滑用戶體驗(yàn)。
與業(yè)界現(xiàn)有調(diào)度系統(tǒng)的比較:
下面將 Schedulis 和業(yè)界現(xiàn)有的調(diào)度系統(tǒng)做了個(gè)對(duì)比,包括:Azkaban, Airflow 和 Xxl-job
模塊 | 描述 | Schedulis | Azkaban | Airflow | Xxl-job |
---|---|---|---|---|---|
HA | 調(diào)度中心高可用 | 支持 | 不支持 | 不支持 | 支持 |
資源管理 | 執(zhí)行節(jié)點(diǎn)多租戶 | 支持 | 不支持 | 不支持 | 不支持 |
運(yùn)行視圖 | 工作流結(jié)構(gòu)圖(DAG) | 清晰顯示任務(wù)狀態(tài),任務(wù)類型,工作流狀態(tài),重試次數(shù)等關(guān)鍵信息 | 只顯示工作流和任務(wù)狀態(tài) | 只顯示任務(wù)狀態(tài) | 只顯示任務(wù)狀態(tài) |
WeDataSphere整合 | 對(duì)DataSphere Studio和Linkis的支持 | 與DSS和Linkis無(wú)縫對(duì)接 | 不支持 | 不支持 | 不支持 |
特色功能 | 循環(huán)執(zhí)行 | 支持 | 不支持 | 不支持 | 不支持 |
靈活的工作流參數(shù) | 支持不同級(jí)別多種設(shè)置方式的工作流參數(shù) | 不支持 | 不支持 | 不支持 | |
hive表數(shù)據(jù)到達(dá)檢查 | 支持 | 不支持 | 不支持 | 不支持 | |
工作流之間交互依賴 | 支持 | 不支持 | 不支持 | 不支持 | |
失敗策略 | 支持任務(wù)失敗暫停、跳過(guò)、重試、超時(shí)處理 | 不支持失敗策略 | 支持部分任務(wù)重跑策略 | 支持任務(wù)超時(shí)處理和失敗重試 | |
系統(tǒng)管理 | 用戶管理 | 支持 | 不支持 | 支持 | 不支持 |
標(biāo)簽: 任務(wù)調(diào)度
下載地址
裝機(jī)必備軟件
網(wǎng)友評(píng)論