美國時間2019年8月29日,易觀開源的分布式任務調度引擎DolphinScheduler(原EasyScheduler)正式通過頂級開源組織Apache基金會的投票決議,以全票通過的優秀表現正式成為Apache孵化器項目!
根據Apache基金會郵件列表顯示,在包含11個約束性投票(binding votes)和2個無約束性投票(non-binding votes)的投票全部持贊同意見,無棄權票和反對票,投票順利通過。
“Welcome to Apache incubator,DolphinScheduler!”

易觀貢獻的DolphinScheduler進入 Apache 孵化器,是易觀開源項目的重要里程碑, DolphinScheduler社區將遵循「The Apache Way」, 秉承更加兼容并包與開放多樣化的心態,由衷歡迎更多的開發者參與到社區中來,Committer虛位以待!
DolphinScheduler是一個分布式易擴展的可視化 DAG 工作流任務調度系統,致力于解決數據處理流程中錯綜復雜的依賴關系,同時具有強大的可視化操作界面。DolphinScheduler曾用名為“EasyScheduler”,由于名稱已在國外某App使用,經社區討論與投票后改名為DolphinScheduler,簡稱”DS”, 中文名 “小海豚調度”(海豚聰明、人性化,有左右腦可互相換班,終生不用睡覺)。我們希望DolphinScheduler就像它的名字一樣,成為一個“開箱即用”的靈活易用的調度系統。
易觀緣何開發DolphinScheduler?
2017年,易觀在運營自己6.8Pb大小、6.02億月活、每天近萬個調度任務的大數據平臺時,受到ETL復雜的依賴關系、平臺易用性、可維護性及二次開發等方面掣肘,我們渴望找到一個具有以下功能的數據調度工具:
1.易于使用,開發人員可以通過非常簡單的拖拽操作構建ETL過程。不僅對于ETL開發人員,無法編寫代碼的人也可以使用此工具進行ETL操作,例如系統管理員和分析師
2.解決“復雜任務依賴”問題,并且可以實時監視ETL運行狀態
3.支持多租戶
4.支持許多任務類型:Shell,MR,Spark,SQL(mysql,postgresql,hive,sparksql),Python,Sub_Process,Procedure等
5.支持HA和線性可擴展性
易觀技術團隊意識到現有開源項目沒有能夠達到我們要求的,因此決定自行開發這個工具。我們在2017年底設計了DolphinScheduler的主要架構;2018年5月完成第一個內部使用版本,后來我們又迭代了幾個內部版本后,系統逐漸穩定下來。
家有DolphinScheduler初長成
易觀技術團隊——這一支自百度、阿里、百分點、Ptmind、熱云等團隊的“數據極客”,秉持易觀“讓數據能力平民化”的初心,積極擁抱開源,曾貢獻過Presto Hbase Connector, Presto Kudu Connector等令開發者稱贊的項目。此次在公司的支持下,也積極將自己的開發的調度工具推動開源,旨在回饋開源的同時,助力打造更為強大的開源生態。
團隊在2019年3月初,小范圍(10多家公司)開放了DS的種子用戶試用,得到了非常正能量的反饋,在4月初的正式對外開放源碼后,很快就獲得了許多開發人員的關注興趣,目前github上的star現在已超過1700個,參與開發和使用的公司包括嘀嗒出行、雪球、鳳凰金融、水滴互助、華潤萬家等(參見https://github.com/apache/incubator-dolphinscheduler/issues/57)。
DolphinScheduler的特點
DolphinScheduler提供了許多易于使用的功能,可加快數據ETL工作開發流程的效率。其主要特點如下:
1.通過拖拽以DAG 圖的方式將 Task 按照任務的依賴關系關聯起來,可實時可視化監控任務的運行狀態
支持豐富的任務類型
2.支持工作流定時調度、依賴調度、手動調度、手動暫停/停止/恢復,同時支持失敗重試/告警、從指定節點恢復失敗、Kill 任務等操作
3.支持工作流全局參數及節點自定義參數設置
4.支持集群HA,通過 Zookeeper實現 Master 集群和 Worker 集群去中心化
5.支持工作流運行歷史樹形/甘特圖展示、支持任務狀態統計、流程狀態統計
6.支持補數,并行或串行回填數據
歡迎調度小伙伴加入共建世界頂級的開源項目!
目前,DolphinScheduler在中國已經擁有了一個1300多位伙伴組成的用戶及開發者社區。它也被許多公司和組織廣泛采用作為其ETL調度工具。我們熱烈歡迎更多的用戶和開發者加入到貢獻的隊伍中來,讓我們國人開源的調度引擎在世界開源生態中占據一席之地!
感謝參與社區的貢獻者!
特別感謝愿意給DolphinScheduler提供指導的champion和mentors:
Champion:
l Sheng Wu ( Apache Incubator PMC, Apache officer, wusheng@apache.org)
Mentors:
l Sheng Wu ( Apache Incubator PMC, Apache officer, wusheng@apache.org)
l ShaoFeng Shi ( Apache Incubator PMC, shaofengshi@apache.org)
l Liang Chen ( Apache Incubator PMC, Apache member, chenliang613@apache.org)
l Furkan KAMACI ( Apache Incubator PMC, Apache member, kamaci@apache.org)
l Kevin Ratnasekera ( Apache Incubator PMC, Apache member, djkevincr@apache.org)
initial committers:
l William-GuoWei(guowei20m@outlook.com)
l Lidong Dai(lidong.dai@outlook.com)
l Zhanwei Qiao(qiaozhanwei@outlook.com)
l Liang Bao(baoliang.leon@gmail.com)
l Gang Li(lgcareer2019@outlook.com)
l Zijian Gong(quanquansy@gmail.com)
l Jun Gao(gaojun2048@gmail.com)
l Baoqi Wu(wubaoqi@gmail.com)
積極參與的貢獻者:
chongchongzi 、lfyee 、mnloveyx 、李林 、白強 、楊孟霏、胡將、王金海 、風清揚、林忠俊 、jiangzhx 、HangtongLee、hymzcn、jimmy201602、feloxx、xianhu、yangqinlong、hebin、
shafi-1、mchcz、jamescheng16、xtony、chekore、LgbDemo、馬澤國、劉小春、 Crossoverrr、jxauwxj
此外還要感謝數百位提出issue和建議以及使用的伙伴們的貢獻和大力支持;感謝在項目早期提出指導的來自華為、京東、teradata、百分點、趣頭條等公司負責調度的伙伴!
特別感謝github mybatis-plus社區 ,在得知DolphinScheduler想使用mybatis-plus來支持多數據庫,特地發版去掉了NPL協議;感謝易觀前端團隊開源的高質量 UI 組件庫ans-ui!
寫在最后
我們堅信將DolphinScheduler引入Apache可以推動更強大,更多樣化的開源社區的發展。我們將努力踐行“Community Over Code“的Apache文化,同時歡迎更多的公司和個人參與到開發者隊伍中來,讓DolphinScheduler社區更加健壯、健康的發展,讓更多人享受開源帶來的技術革命!
目前DolphinScheduler的所有源代碼和所有相關文檔已捐贈給Apache Software Foundation。這些代碼已經在Apache License Version 2.0下:
代碼庫:https://github.com/apache/incubator-dolphinscheduler
文檔:https://analysys.github.io/easyscheduler_docs_cn/
在線demo:http://106.75.43.194:8888
為促進技術圈的茁壯發展,增進Apache DolphinScheduler使用者的交流與學習,易觀舉辦 “Apache DolphinScheduler(incubator) User Meetup” 全國巡回活動,2019 年將陸續在北京、上海等地舉行,邀請業內資深的技術專家,分享實戰經驗,促進互聯網技術的普及。
本次巡回 Meetup首站將于10月26日在上海和大家見面,報名鏈接:https://www.huodongxing.com/event/6510540610400
11月23日,北京站報名鏈接https://www.huodongxing.com/event/2510544145000
歡迎大家來交流!
Apache%20DolphinScheduler(incubator)%20User%20Meetup·Shanghai
Date: 2019,Oct, 26 (2019年10月26日)
Meetup Place: Fourth Floor, Building 1, Founder 1107 Yuyuan Road, Changning District, Shanghai.(上海長寧區愚園路1107號創邑1號樓4樓)
Agenda(議程):
1、Introduction/overview of DolphinScheduler (William-GuoWei).
2、DolphinScheduler internals, fairly technical: how DolphinScheduler works and so on (Zhanwei Qiao).
3、DolphinScheduler practice(Draw up)
4、DolphinScheduler from Zero to One (Draw up)
5、DolphinScheduler practice(Draw up)
6、Recently released features and Roadmap (Lidong Dai)
7、Free discussion
附:DolphinScheduler部分功能截圖:



來源:XXX(非中文科技資訊)的作品均轉載自其它媒體,轉載請尊重版權保留出處,一切法律責任自負。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。
如發現本站文章存在問題,提供版權疑問、身份證明、版權證明、聯系方式等發郵件至news#citnews.com.cn(把#換成@)。
海藝AI的模型系統在國際市場上廣受好評,目前站內累計模型數超過80萬個,涵蓋寫實、二次元、插畫、設計、攝影、風格化圖像等多類型應用場景,基本覆蓋所有主流創作風格。
IDC今日發布的《全球智能家居清潔機器人設備市場季度跟蹤報告,2025年第二季度》顯示,上半年全球智能家居清潔機器人市場出貨1,2萬臺,同比增長33%,顯示出品類強勁的市場需求。