崗位職責:
1、負責公司大數(shù)據(jù)平臺的離線與實時數(shù)據(jù)處理系統(tǒng)的設計、開發(fā)與優(yōu)化;
2、基于 Flink 構建高吞吐、低延遲的實時計算 pipeline,支撐實時指標計算、事件處理與流式分析;
3、使用 Kafka 構建穩(wěn)定高效的數(shù)據(jù)消息中間件體系,保障數(shù)據(jù)采集與傳輸?shù)目煽啃裕?/div>
4、利用 SelectDB 或 Apache Doris 構建高性能分析型數(shù)據(jù)倉庫,支持多維分析、即席查詢與可視化報表;
5、數(shù)據(jù)分析,后臺業(yè)務系統(tǒng)開發(fā)。
任職要求:
1、計算機、數(shù)學、統(tǒng)計學或相關專業(yè)本科及以上學歷
2、3年以上大數(shù)據(jù)開發(fā)和數(shù)據(jù)分析經驗;3年Spingboot boot開發(fā)經驗
3、精通 Apache Flink流式計算, 精通 Kafka,SelectDB 或 Apache Doris應用開發(fā) ,具備生產環(huán)境部署與調優(yōu)經驗;
4、熟悉數(shù)據(jù)倉庫建設方法論,熟悉 Hive、Spark 等離線計算框架,具備從0到1搭建數(shù)倉模型的實際項目經驗;
5、熟悉數(shù)據(jù)湖技術(如 Iceberg、Hudi)。