崗位職責:
1. 負責數(shù)據(jù)倉庫平臺的數(shù)據(jù)遷移方案設(shè)計與實施;
2. 分析數(shù)據(jù)庫的架構(gòu)、表結(jié)構(gòu)、ETL流程及性能瓶頸,制定高效、穩(wěn)定的遷移策略3. 完成數(shù)據(jù)模型遷移、SQL&SHELL腳本熟練/精通轉(zhuǎn)換、存儲過程/函數(shù)重寫,確保業(yè)務(wù)邏輯在DWS中準確還原;
4. 設(shè)計并開發(fā)數(shù)據(jù)校驗機制,保障遷移前后數(shù)據(jù)的一致性、完整性與準確性;
5. 與業(yè)務(wù)方、數(shù)據(jù)開發(fā)、運維團隊協(xié)作,完成遷移過程中的測試、上線及問題排查;
6. 編寫技術(shù)文檔,包括遷移方案、數(shù)據(jù)映射文檔、問題處理記錄等;
7. 持續(xù)優(yōu)化DWS平臺的數(shù)據(jù)架構(gòu)與性能,提升查詢效率與系統(tǒng)穩(wěn)定性。
基本要求:
1. 計算機、軟件工程、數(shù)據(jù)科學或相關(guān)專業(yè)專科及以上學歷;
2. 5年以上大數(shù)據(jù)平臺或數(shù)據(jù)倉庫相關(guān)開發(fā)經(jīng)驗,有大型數(shù)據(jù)遷移項目經(jīng)驗者優(yōu)先;
3. 熟悉Greenplum架構(gòu)原理,掌握GP中的并行處理、分布鍵、分區(qū)表、外部表等核心技術(shù);
4. 熟悉主流DWS平臺(如華為DWS具備實際開發(fā)與調(diào)優(yōu)經(jīng)驗;
5. 精通SQL語言,具備復雜SQL編寫、性能分析與優(yōu)化能力;
6. 熟悉數(shù)據(jù)遷移流程,有過數(shù)據(jù)遷移上云經(jīng)驗,或者熟悉大數(shù)據(jù) Hadoop、Spark、Flink、hive等大數(shù)據(jù)處理框架優(yōu)先
7. 熟練Linux操作系統(tǒng),掌握Shell腳本語言,具備自動化遷移腳本開發(fā)能力;
8. 具備良好的溝通能力、團隊協(xié)作精神和抗壓能力,責任心強。