崗位職責(zé):
1、負(fù)責(zé)設(shè)計(jì)并實(shí)現(xiàn)模塊級(jí)別的ETL流程,確保數(shù)據(jù)準(zhǔn)確無(wú)誤地從源端傳輸?shù)侥慷恕?/div>
2、基于業(yè)務(wù)需求,優(yōu)化數(shù)倉(cāng)表結(jié)構(gòu)設(shè)計(jì),提升查詢性能,支持更快捷的數(shù)據(jù)訪問。
3、實(shí)施數(shù)據(jù)質(zhì)量規(guī)則,定期檢查數(shù)據(jù)健康狀況,保證數(shù)據(jù)的一致性和可靠性。
4、參與數(shù)據(jù)建模,根據(jù)業(yè)務(wù)需求設(shè)計(jì)星型/雪花模型,優(yōu)化數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)。
任職要求:
1、年齡35歲以下,有2年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗(yàn)
2、掌握Hadoop 生態(tài)核心組件原理(HDFS、YARN、Hive、Spark)
3、掌握數(shù)倉(cāng)分層架構(gòu)理論(ODS/DWD/DWS/ADS)及各層設(shè)計(jì)原則
4、掌握維度建?;A(chǔ)(星型模型、雪花模型、緩慢變化維、拉鏈表)
5、掌握 DAMA 數(shù)據(jù)管理體系(數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)、主數(shù)據(jù))
6、掌握數(shù)據(jù)校驗(yàn)規(guī)則與邏輯(完整性、唯一性、格式合規(guī)性)
7、掌握SQL語(yǔ)言,熟悉數(shù)據(jù)查詢、連接、聚合、子查詢及窗口函數(shù)等常用操作。
8、掌握Python與常用數(shù)據(jù)處理庫(kù)(os/sys/json/re/pandas基礎(chǔ))