崗位職責(zé):
1. 依據(jù)湖倉一體數(shù)據(jù)存算系統(tǒng)需求,參與大數(shù)據(jù)平臺整體架構(gòu)設(shè)計,確保數(shù)據(jù)采集、存儲、計算,治理各環(huán)節(jié)高效協(xié)同。
2. 負(fù)責(zé)大數(shù)據(jù)平臺監(jiān)控及優(yōu)化,保障湖倉存儲、數(shù)據(jù)計算引擎等穩(wěn)定運行。
3. 主導(dǎo)企業(yè)級數(shù)據(jù)倉庫設(shè)計與研發(fā),進(jìn)行海量數(shù)據(jù)模型設(shè)計與優(yōu)化,開發(fā)數(shù)據(jù) ETL 流程,滿足數(shù)據(jù)加工系統(tǒng)的數(shù)據(jù)處理需求。
4. 參與大數(shù)據(jù)平臺核心業(yè)務(wù)功能設(shè)計與研發(fā),包括流計算、批計算功能的開發(fā),以及工作流管理模塊的相關(guān)功能實現(xiàn)。
5. 跟蹤行業(yè)前沿技術(shù),解決數(shù)據(jù)中臺項目中遇到的技術(shù)難題,如湖倉融合存儲技術(shù)的應(yīng)用優(yōu)化。
任職要求
1. 計算機或相關(guān)專業(yè)本科及以上學(xué)歷,5 年及以上開發(fā)經(jīng)驗,3 年及以上大數(shù)據(jù)開發(fā)經(jīng)驗。
深入理解數(shù)據(jù)計算、數(shù)據(jù)建模、數(shù)據(jù)治理,數(shù)據(jù)資產(chǎn),數(shù)據(jù)安全、數(shù)據(jù)服務(wù)共享、數(shù)據(jù)生命周期管理有參與數(shù)據(jù)中臺項目的實戰(zhàn)經(jīng)驗。
2. 熟練掌握 Hadoop、Spark、Hive、HBase、Flink 等大數(shù)據(jù)工具,熟悉 iceberg、doris 等湖倉存儲引擎技術(shù),有主導(dǎo)大型數(shù)據(jù)平臺建設(shè)經(jīng)驗者優(yōu)先。
3. 精通 SQL,掌握 Oracle、PostgreSQL、MySQL 等至少一種主流關(guān)系數(shù)據(jù)庫。
4. 熟練使用 Java、Python 進(jìn)行代碼編寫,熟悉 Linux 操作系統(tǒng)。
5. 具備實時 / 離線數(shù)據(jù)處理、數(shù)據(jù)建模、ETL 開發(fā)與設(shè)計、數(shù)據(jù)治理等經(jīng)驗,有數(shù)據(jù)分析、指標(biāo)體系構(gòu)建工作經(jīng)驗者優(yōu)先。
6. 熟悉常見 RDBMS(如 MySQL、PGSQL),了解 StarRocks、Doris、Clickhouse、GreenPlum 等 MPP 架構(gòu) OLAP 技術(shù)。
7. 掌握 Hudi、doris 技術(shù)原理及架構(gòu)設(shè)計,有實際項目開發(fā)及性能優(yōu)化經(jīng)驗。
8.熟悉海豚調(diào)度系統(tǒng)以及有flink on k8s調(diào)度經(jīng)驗