職位描述
崗位職責:
1. 數(shù)據(jù)清洗與ETL開發(fā)
? 負責基礎(chǔ)數(shù)據(jù)清洗、轉(zhuǎn)換和加載(ETL)流程的開發(fā)與維護,使用工具(如Kettle、DataX)或腳本(Python/SQL)處理結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)。
? 協(xié)助構(gòu)建數(shù)據(jù)管道(Data Pipeline),監(jiān)控數(shù)據(jù)流程運行狀態(tài),定位并修復數(shù)據(jù)異常問題。
2. 數(shù)據(jù)倉庫基礎(chǔ)支持
? 參與數(shù)據(jù)倉庫的簡單建模(如星型模型)和維度表構(gòu)建,支持數(shù)據(jù)分析師完成報表開發(fā)。
? 維護數(shù)據(jù)存儲(如Hive、MySQL),優(yōu)化基礎(chǔ)SQL查詢性能。
3. 系統(tǒng)測試與數(shù)據(jù)驗證
? 兼職數(shù)據(jù)系統(tǒng)測試,包括ETL流程驗證、數(shù)據(jù)質(zhì)量檢查(如完整性、一致性)及測試報告編寫。
? 協(xié)助業(yè)務(wù)團隊驗證數(shù)據(jù)需求,確保數(shù)據(jù)輸出符合預期。
4. 技術(shù)學習與協(xié)作
? 學習大數(shù)據(jù)技術(shù)棧(如Hadoop、Spark)和AI數(shù)據(jù)預處理方法(如特征工程),探索數(shù)據(jù)與AI結(jié)合的初級應(yīng)用場景。
? 配合業(yè)務(wù)團隊,將數(shù)據(jù)需求轉(zhuǎn)化為可執(zhí)行方案。
任職要求:
1. 基本要求
? 本科及以上學歷,計算機、統(tǒng)計學、數(shù)學或相關(guān)專業(yè)(應(yīng)屆生或1-3年經(jīng)驗)。
? 具備SQL編寫能力,熟悉至少一種數(shù)據(jù)庫(MySQL/Oracle/Hive)。
? 掌握Python或Shell腳本編程,能獨立開發(fā)簡單ETL任務(wù)。
2. 技術(shù)能力
? 必備?:
? 了解ETL流程及工具(如Kettle、DataX)。
? 熟悉Linux操作及Git版本控制。
? 加分項?:
? 接觸過大數(shù)據(jù)組件(Hadoop/Hive/Spark)或BI工具(FineReport/Tableau)。
? 了解基礎(chǔ)數(shù)據(jù)建模概念(如星型模型)。
3. 軟素質(zhì)與潛力
? 邏輯清晰?:能獨立完成數(shù)據(jù)需求開發(fā)與問題排查。
? 學習能力?:對數(shù)據(jù)技術(shù)和AI結(jié)合有強烈興趣,愿意深入技術(shù)細節(jié)(如數(shù)據(jù)特征工程、AI數(shù)據(jù)預處理)。
? 協(xié)作意識?:具備溝通能力和團隊精神,能承擔重復性工作并逐步提升效率。