職責描述:
1.從事基于MPP環(huán)境下的數(shù)據(jù)處理工作;
2.負責數(shù)據(jù)相關(guān)開發(fā)工作,包括數(shù)據(jù)處理/數(shù)倉等的設(shè)計及實現(xiàn);
3.負責進行數(shù)據(jù)抽取.清洗.調(diào)度等工作開發(fā)及維護;
4.負責數(shù)倉的開發(fā).維護,以及對外的數(shù)據(jù)服務等功能開發(fā)。
任職要求:
1.計算機或數(shù)學相關(guān)專業(yè),本科及以上學歷,3年以上大數(shù)據(jù)相關(guān)經(jīng)驗;
2.熟悉大數(shù)據(jù)生態(tài)技術(shù),有Hadoop/Hive/HBae/ELK/Spark/Flink/Kafka/MongoDB/Yarn等組件的實際開發(fā).運維經(jīng)驗;
3.熟悉各類數(shù)據(jù)采集.存儲和處理方法和工具,可高效進行數(shù)據(jù)處理;
4.熟悉數(shù)據(jù)倉庫和ETL相關(guān)知識,有數(shù)倉搭建和MPP數(shù)據(jù)庫使用經(jīng)驗者優(yōu)先;
5.熟悉主流關(guān)系型數(shù)據(jù)庫系統(tǒng)(PostgreSQL,MySQL)等,并熟練運用SQL進行數(shù)據(jù)查詢;
6.具備較強的責任心和良好的學習能力.邏輯思維能力,善于溝通和團隊合作,勇于創(chuàng)新和接受挑戰(zhàn);
7.較強的分析.動手解決技術(shù)問題能力