崗位職責(zé):
1、協(xié)助大數(shù)據(jù)的ETL開(kāi)發(fā)工作,支持復(fù)雜邏輯的處理,研發(fā)數(shù)據(jù)產(chǎn)品;
2、協(xié)助參與需求分析、數(shù)據(jù)模型的設(shè)計(jì)和優(yōu)化,提升數(shù)據(jù)質(zhì)量與計(jì)算性能;
3. 持續(xù)優(yōu)化現(xiàn)有的數(shù)據(jù)處理流程,提高系統(tǒng)的可靠性和可拓展性;
4. 協(xié)助系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)任務(wù),協(xié)作與產(chǎn)品經(jīng)理、測(cè)試、運(yùn)維人員等進(jìn)行項(xiàng)目需求討論和問(wèn)題解決。
崗位要求:
1. 精通Java核心技術(shù)、深入理解面向?qū)ο缶幊趟枷?,熟悉主流開(kāi)源應(yīng)用框架,如Spring、SpringBoot、MyBatis等,有Scala語(yǔ)言開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先;
2. 熟悉Hive/Spark/Kafka等組件工作原理,有Spark RDD、Spark SQL開(kāi)發(fā)與相關(guān)的優(yōu)化經(jīng)驗(yàn),熟悉Spark graphX優(yōu)先;
3. 精通SQL,熟練使用Hive/Spark SQL進(jìn)行大數(shù)據(jù)處理和分析;
4. 具備較強(qiáng)的問(wèn)題解決能力,能獨(dú)立分析與解決復(fù)雜的技術(shù)難題。