工作職責(zé):
1. 負責(zé)大數(shù)據(jù)平臺(Hadoop/Spark/Flink等)開發(fā),維護和優(yōu)化,保障數(shù)據(jù)管道穩(wěn)定高效運行。
2. 設(shè)計并開發(fā)數(shù)據(jù)ETL流程,處理海量結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù),支持數(shù)據(jù)倉庫(如Hive、HBase、ClickHouse等)建設(shè)。
3. 參與實時計算系統(tǒng)開發(fā)(如Kafka、Flink、Storm),滿足業(yè)務(wù)實時數(shù)據(jù)分析需求。
4. 與業(yè)務(wù)部門協(xié)作,理解數(shù)據(jù)需求,提供數(shù)據(jù)建模、清洗、聚合等解決方案。
任職要求
技術(shù)能力:
1. 編程基礎(chǔ):熟練使用Java/Scala/Python/SQL至少一種,熟悉算法與數(shù)據(jù)結(jié)構(gòu)。
2. 大數(shù)據(jù)生態(tài):
- 精通Hadoop、Spark、Hive、HBase、Flink等框架,理解其底層原理(如MapReduce、RDD、Spark SQL優(yōu)化)。
- 熟悉分布式計算、存儲原理(如HDFS、YARN資源調(diào)度)。
3. 數(shù)據(jù)倉庫:熟悉維度建模、OLAP技術(shù),有數(shù)倉分層(ODS/DWD/DWS/ADS)設(shè)計經(jīng)驗。