能力要求
1.具有豐富的數(shù)據(jù)倉庫開發(fā)項目經(jīng)歷,有獨立承擔完整需求設計開發(fā)的工作經(jīng)驗;
2.熟悉至少一種MPP架構數(shù)據(jù)庫,熟練掌握sql的編寫及優(yōu)化能力;
3.熟悉Doris、Seatunnel、DolphinSchedule、spark、flink等,能處理hive與spark常見報錯問題;
4.熟悉Linux常用命令,熟練掌握Linux基礎操作,掌握Java、Python等語言開發(fā)能力;
5.熟悉常見的數(shù)據(jù)治理框架,例如Datavines等;
6.具有數(shù)據(jù)標準制定經(jīng)驗。
工作內(nèi)容
1.負責已有數(shù)據(jù)中臺的運維和開發(fā),包括不限于完成相關組件安裝、腳本開發(fā)與優(yōu)化等;
2.ETL開發(fā),定義數(shù)據(jù)抽取、轉換、加載規(guī)則,確保數(shù)據(jù)準確加載;
3.實現(xiàn)數(shù)據(jù)產(chǎn)品研發(fā)工作,包括報表分析系統(tǒng)、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務接口等;
4.負責數(shù)據(jù)標準和數(shù)據(jù)質(zhì)量工作的持續(xù)推進。
5.負責協(xié)助團隊的數(shù)據(jù)治理工作推進及匯報;