崗位職責(zé):
1. 參與公司數(shù)據(jù)湖的建設(shè),做過數(shù)據(jù)湖實施;
2. 參與數(shù)據(jù)湖的離線分析開發(fā),編寫HSQL進(jìn)行數(shù)據(jù)提取、轉(zhuǎn)換和加載(ETL);
3. 對現(xiàn)有Hive查詢進(jìn)行性能分析和優(yōu)化,提高查詢效率;
4. 支持?jǐn)?shù)據(jù)分析,為業(yè)務(wù)部門提供數(shù)據(jù)支持。
5. 參與數(shù)據(jù)治理和質(zhì)量管理,確保數(shù)據(jù)湖中的數(shù)據(jù)準(zhǔn)確性和可靠性;
任職資格:
1. 學(xué)歷要求:??萍耙陨蠈W(xué)歷,計算機(jī)科學(xué)、信息技術(shù)等計算機(jī)相關(guān)專業(yè);
2. 工作經(jīng)驗:至少2年及以上數(shù)據(jù)湖建設(shè)經(jīng)驗,參與過數(shù)據(jù)湖的離線分析開發(fā)工作,有星環(huán)大數(shù)據(jù)平臺開發(fā)經(jīng)驗優(yōu)先考慮。
3. 技術(shù)能力:
(1) 熟悉Hive的使用,能夠編寫高效的HSQL查詢語句;
(2) 理解Hive的內(nèi)部原理,有Hive優(yōu)化經(jīng)驗,能夠針對復(fù)雜查詢進(jìn)行性能調(diào)優(yōu);
(3) 有實際的數(shù)據(jù)湖開發(fā)和設(shè)計經(jīng)驗,能夠處理大規(guī)模數(shù)據(jù)集;
(4) 有實際的指標(biāo)明細(xì)層設(shè)計開發(fā)經(jīng)驗;
4. 個人素質(zhì):
(1) 具備良好的邏輯思維能力,能夠獨立分析和解決問題;
(2) 有一定的抗壓能力,能夠接受項目緊張時期的加班;
(3) 良好的團(tuán)隊合作精神和溝通能力,能夠與團(tuán)隊成員有效協(xié)作。