. 參與車控算法的RD和開發(fā)項目,負責車控算法數(shù)倉建立、數(shù)據(jù)集成的工作;
2. 設計和開發(fā)高效、可擴展的ETL數(shù)據(jù)管道,優(yōu)化數(shù)據(jù)清洗、轉換和加載流程;
3. 參與數(shù)據(jù)倉庫(如Hive、ClickHouse)、實時數(shù)倉(如Flink、Kafka)的架構設計與開發(fā);
4. 對接業(yè)務需求,開發(fā)數(shù)據(jù)服務接口,為數(shù)據(jù)分析、機器學習等場景提供高質量數(shù)據(jù)支持;
5. 解決大數(shù)據(jù)集群的性能瓶頸,調優(yōu)Hadoop/Spark/Flink等框架的資源利用率與計算效率;
職位要求
1、本科及以上學歷,統(tǒng)計學、計算機科學等相關專業(yè)背景,5年;
2、精通Java/Scala/Python至少一門語言(其中python必選),熟悉Linux開發(fā)環(huán)境與腳本編程;
3、深入理解并掌握Hadoop生態(tài)(HDFS/YARN/MapReduce)及Spark/Flink計算引擎的開發(fā)應用,有性能調優(yōu)經驗;
4、熟悉數(shù)據(jù)倉庫建模理論(維度建模、分層設計),掌握Hive、HBase、Kafka等組件的原理與應用;
5. 熟練使用OLAP引擎(如Doris、ClickHouse)和SQL優(yōu)化技巧;
6、熟練使用主流可視化工具(Superset,Davinci等 )設計開發(fā)數(shù)據(jù)看板;
7. 如能使用統(tǒng)計分析和機器學習技術對數(shù)據(jù)進行建模和分析者優(yōu)先;