【崗位職責(zé)】
1、負責(zé)核心數(shù)據(jù)平臺、數(shù)據(jù)倉庫的架構(gòu)設(shè)計與開發(fā)工作,確保系統(tǒng)的高性能、高穩(wěn)定性和高擴展性;
2、主導(dǎo)數(shù)據(jù)需求分析、數(shù)據(jù)建模、ETL/ELT 開發(fā)、測試和上線等全流程工作;
3、解決海量數(shù)據(jù)處理、實時計算、數(shù)據(jù)傾斜等技術(shù)難題,持續(xù)優(yōu)化數(shù)據(jù)任務(wù)的性能與資源消耗;
4、負責(zé)關(guān)鍵模塊(如實時數(shù)據(jù)鏈路、核心數(shù)倉模型)的技術(shù)攻關(guān),制定解決方案,確保數(shù)據(jù)項目的順利交付;
5、制定并推動團隊執(zhí)行數(shù)據(jù)開發(fā)規(guī)范、數(shù)據(jù)建模規(guī)范和數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn);
6、組織并執(zhí)行代碼評審(Code Review / SQL Review),保障數(shù)據(jù)產(chǎn)出的準(zhǔn)確性與時效性,提升團隊整體開發(fā)質(zhì)量;
7、參與數(shù)據(jù)開發(fā)與發(fā)布流程(DataOps)的建設(shè)與優(yōu)化,提升數(shù)據(jù)測試、部署和監(jiān)控的自動化水平;
8、組織并參與技術(shù)分享,推動技術(shù)團隊在大數(shù)據(jù)架構(gòu)上的演進與創(chuàng)新。
【任職要求】
1、本科學(xué)歷,大數(shù)據(jù)、計算機科學(xué)、軟件工程或相關(guān)領(lǐng)域?qū)I(yè);
2、5 年以上大數(shù)據(jù)平臺開發(fā)經(jīng)驗,有大型互聯(lián)網(wǎng)公司數(shù)據(jù)倉庫或數(shù)據(jù)湖建設(shè)經(jīng)驗者優(yōu)先;
3、編程與計算引擎: 精通 Python、Java 或 Scala 編程語言,深入理解 JVM 原理;熟練掌握 Hadoop 生態(tài)(HDFS, Yarn, Hive),并精通 Spark 或 Flink 中至少一種主流計算引擎;
4、數(shù)據(jù)架構(gòu)與建模: 熟悉數(shù)據(jù)倉庫建模理論(如維度建模),掌握數(shù)據(jù)分層、數(shù)據(jù)湖、湖倉一體等架構(gòu)設(shè)計思想;
5、數(shù)據(jù)存儲與查詢: 具備良好的 SQL 編寫與優(yōu)化能力,熟悉主流 OLAP 引擎(如 ClickHouse, Doris, StarRocks)及 NoSQL 數(shù)據(jù)庫(如 HBase, Elasticsearch, Redis)的使用場景與調(diào)優(yōu);
6、數(shù)據(jù)管道與中間件: 掌握常用數(shù)據(jù)同步工具(如 DataX, Flink CDC),并精通消息隊列 Kafka 的使用與原理;
7、基礎(chǔ)環(huán)境與運維: 熟悉 Linux 操作系統(tǒng)和常用 Shell 腳本,具備大數(shù)據(jù)組件的部署、監(jiān)控和問題排查能力。