【崗位職責】:
1、大數(shù)據(jù)平臺搭建與維護:負責基于 Dataworks 平臺進行公司大數(shù)據(jù)應用產(chǎn)品的全流程開發(fā),涵蓋數(shù)據(jù)集成、任務調(diào)度、數(shù)據(jù)開發(fā)等模塊,搭建穩(wěn)定可靠的大數(shù)據(jù)平臺,保障平臺服務的高效運行;同時,持續(xù)進行架構優(yōu)化與技術迭代,構建集數(shù)據(jù)存儲、計算、服務于一體的大型分布式數(shù)據(jù)平臺,滿足公司業(yè)務發(fā)展對數(shù)據(jù)處理的需求;
2、數(shù)據(jù)架構設計:結(jié)合公司業(yè)務場景和發(fā)展戰(zhàn)略,主導數(shù)據(jù)架構的設計與規(guī)劃,制定數(shù)據(jù)存儲、處理、流通的整體方案;優(yōu)化數(shù)據(jù)架構,提升數(shù)據(jù)處理性能和系統(tǒng)穩(wěn)定性,保障數(shù)據(jù)架構與業(yè)務需求的高度契合;
3、數(shù)據(jù)倉庫建模:依據(jù)數(shù)據(jù)倉庫建模理論,負責數(shù)據(jù)倉庫的模型設計與開發(fā)工作,包括維度建模、事實建模等;參與數(shù)據(jù) ETL(抽取、轉(zhuǎn)換、加載)過程的設計與實施,確保數(shù)據(jù)倉庫數(shù)據(jù)的質(zhì)量和可用性;定期對數(shù)據(jù)模型進行評估和優(yōu)化,滿足不同業(yè)務場景的數(shù)據(jù)需求;
4、數(shù)據(jù)處理與計算:熟練運用 Flink 技術,對海量數(shù)據(jù)進行離線計算和實時計算,實現(xiàn)數(shù)據(jù)的高效處理與分析;設計并開發(fā)數(shù)據(jù)處理流程,確保數(shù)據(jù)的準確性、完整性和及時性,為業(yè)務決策提供有力的數(shù)據(jù)支持;
5、技術創(chuàng)新與應用:持續(xù)關注大數(shù)據(jù)領域的新技術、新方法,結(jié)合公司實際業(yè)務需求,評估并引入合適的技術,推動大數(shù)據(jù)技術在公司的創(chuàng)新應用;優(yōu)化集群性能,提高資源利用率,降低運營成本。
【任職要求】
1、具有 5 年及以上大數(shù)據(jù)相關工作經(jīng)驗,本科及以上學歷,計算機科學與技術、軟件工程、數(shù)據(jù)科學與大數(shù)據(jù)技術等相關專業(yè)優(yōu)先;
2、熟悉 Dataworks 平臺的使用,具備基于 Dataworks 進行大數(shù)據(jù)項目開發(fā)、任務調(diào)度和數(shù)據(jù)管理的經(jīng)驗;
3、精通數(shù)據(jù)倉庫建模理論和方法,有豐富的數(shù)據(jù)倉庫架構設計、數(shù)據(jù) ETL、建?;驍?shù)據(jù)分析相關經(jīng)驗;
4、熟練掌握 Flink 技術,深入理解其原理和架構,能夠運用 Flink 進行離線計算和實時計算任務的開發(fā)與優(yōu)化;
5、具備良好的溝通能力和團隊協(xié)作精神,能夠與不同部門的人員進行有效的溝通和協(xié)作;具備較強的問題解決能力和邏輯思維能力,善于從復雜的數(shù)據(jù)問題中找到關鍵路徑;對待工作認真負責,有較強的自驅(qū)力和學習能力,能夠快速適應新技術和新環(huán)境。