(和國網對接)
具備4年以上大數據技術開發(fā)工作經驗,參與過中型規(guī)模項目(9-15人團隊),負責關鍵模塊的設計和實現。
1、編程和腳本語言:熟悉Java、Scala、Python等編程語言,能夠編寫高效的數據處理和分析代碼,同時熟練使用Shell腳本進行系統(tǒng)操作和自動化任務。
2、大數據處理框架:熟悉Hadoop生態(tài)系統(tǒng),包括HDFS、MapReduce、YARN等,能夠進行分布式數據處理;熟練使用Spark進行數據處理,了解其核心組件和優(yōu)化技術;了解Flink等實時數據處理框架,具備流計算處理能力。
3、數據存儲和管理:熟悉NoSQL數據庫,如HBase、Hive、ClickHouse等,能夠設計和優(yōu)化數據模型,進行大規(guī)模數據存儲;了解數據倉庫技術,如Impala、Presto、Doris等,能夠進行大規(guī)模數據查詢和分析。
4、數據流和消息系統(tǒng):熟練使用Kafka、RabbitMQ、Datahub等消息隊列系統(tǒng),能夠實現高吞吐量的數據流處理;了解實時數據處理技術,如Flink、Storm,能夠構建低延遲的數據處理管道
5、數據處理和分析:具備數據清洗、預處理、轉換和建模的能力,能夠處理復雜的數據集;熟悉數據挖掘和機器學習算法,能夠使用工具如Spark MLlib、Scikit-learn進行數據分析和建模。
6、數據中臺開發(fā)能力:熟悉數據中臺相關生態(tài)組件的使用和優(yōu)化,如Dataworks、MaxCompute、QuickBI等,能夠編寫復雜SQL腳本進行業(yè)務指標的計算分析,能夠完成數據中臺腳本開發(fā)與數據處理工作。
7、數據可視化:熟練使用數據可視化工具,如QuickBI、帆軟報表等,能夠將數據分析結果可視化展示,以便更好地進行數據驅動的決策。
8、數據湖:了解Apache Hudi和Delta Lake等數據湖技術,能夠基于數據湖開展數據分析和處理工作。
1.本科及以上學歷,計算機專業(yè)優(yōu)先。
2.java開發(fā)工作經驗5年以上,后臺服務開發(fā)3年以上 。
3.具備較強的業(yè)務分析能力,能夠獨立解決問題 。
4.能夠獨立進行需求對接并進行大數據開發(fā) 。
5.在項目中使用flink或者spark等大數據開發(fā)工作經驗4年以上者優(yōu)先 。
6.具備大規(guī)模分布式后臺服務開發(fā)工作經驗4年以上者優(yōu)先