崗位職責(zé):
1. 負(fù)責(zé)使用集團(tuán)及公司自研的大數(shù)據(jù)平臺,對內(nèi)部各業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行采集、清洗、
轉(zhuǎn)換和加載(ETL/ELT)工作,確保數(shù)據(jù)準(zhǔn)確、及時地進(jìn)入數(shù)據(jù)平臺。
2. 參與數(shù)據(jù)倉庫/數(shù)據(jù)湖的設(shè)計、建模及分層建設(shè),構(gòu)建規(guī)范的數(shù)據(jù)模型,提供穩(wěn)定高
效的數(shù)據(jù)基礎(chǔ)層。
3. 開發(fā)和優(yōu)化數(shù)據(jù)處理流程及任務(wù),包括離線批處理和可能的實時流處理,提升數(shù)據(jù)
處理效率和資源利用率。
4. 負(fù)責(zé)數(shù)據(jù)質(zhì)量的監(jiān)控和管理,建立數(shù)據(jù)質(zhì)量校驗規(guī)則,保障數(shù)據(jù)資產(chǎn)的可靠性。
5. 與業(yè)務(wù)團(tuán)隊、數(shù)據(jù)分析師和應(yīng)用開發(fā)工程師緊密協(xié)作,理解數(shù)據(jù)需求,提供高質(zhì)量
的數(shù)據(jù)支持,助力內(nèi)部運營分析、報表可視化及 AI/ML 應(yīng)用開發(fā)。
6. 編寫相關(guān)技術(shù)設(shè)計文檔、開發(fā)規(guī)范和操作手冊,負(fù)責(zé)數(shù)據(jù)任務(wù)的日常監(jiān)控和維護(hù)。
任職要求:
我們正在尋找具備以下核心技能的數(shù)據(jù)開發(fā)小伙伴:
1. 3 年相關(guān)工作經(jīng)驗
2. 精通 SQL,具備復(fù)雜 SQL 編寫、性能調(diào)優(yōu)以及常用數(shù)據(jù)庫(如 MySQL,
PostgreSQL)的使用經(jīng)驗。
3. 熟練掌握至少一種主流編程語言(如 Python, Java, Scala),并有實際的數(shù)據(jù)處理
或腳本開發(fā)經(jīng)驗。
4. 扎實的數(shù)據(jù)倉庫理論基礎(chǔ),熟悉維度建模等方法,理解數(shù)據(jù)倉庫各層的作用和設(shè)計
原則。
5. 熟悉大數(shù)據(jù)生態(tài)圈的常用技術(shù)或工具,如 Hadoop、Spark、Hive、Doris 等,并在
過往項目中實踐應(yīng)用。
6. 具備良好的數(shù)據(jù)敏感度和分析能力,能夠從數(shù)據(jù)中發(fā)現(xiàn)問題。
7. 具備良好的溝通協(xié)作能力和解決問題的能力,對數(shù)據(jù)工作充滿熱情。
加分項:
如果您還具備以下經(jīng)驗或技能,將優(yōu)先考慮:
1. 有使用過工作流調(diào)度工具(如 Apache Airflow, Oozie)進(jìn)行數(shù)據(jù)任務(wù)編排和管理的
經(jīng)驗。
2. 有實時數(shù)據(jù)處理或流計算經(jīng)驗(如 Flink, Spark Streaming, Kafka Streams)。
3. 有主導(dǎo)或參與過 AI 問數(shù)相關(guān)項目的經(jīng)驗。
4. 有數(shù)據(jù)治理、數(shù)據(jù)安全或元數(shù)據(jù)管理相關(guān)的實踐經(jīng)驗。
5. 有為 AI/ML 項目提供數(shù)據(jù)準(zhǔn)備或特征工程支持的經(jīng)驗。
6. 熟悉 BI 可視化工具(如 Fine BI, Tableau, Power BI, Metabase, Superset)或有
數(shù)據(jù) API 開發(fā)經(jīng)驗。