崗位職責(zé)
1、負(fù)責(zé)大數(shù)據(jù)相關(guān)應(yīng)用的開(kāi)發(fā),接入供給的業(yè)務(wù)開(kāi)發(fā)
2、負(fù)責(zé)數(shù)據(jù)庫(kù)同步功能的相關(guān)開(kāi)發(fā)
3、負(fù)責(zé)任務(wù)計(jì)算等相關(guān)需求開(kāi)發(fā)
任職要求
1、熟悉Hadoop、HBase等分布式計(jì)算平臺(tái)開(kāi)發(fā),3年以上hadoop使用經(jīng)驗(yàn),有大數(shù)據(jù)應(yīng)用系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)
2、熟悉Ketle等ETL工具的使用和開(kāi)發(fā);具有一定數(shù)據(jù)模型和數(shù)據(jù)架構(gòu)基礎(chǔ),熟悉hadoop/hive和常用數(shù)據(jù)庫(kù)
3、熟悉SQL/HQL,有較好的SQL性能調(diào)優(yōu)經(jīng)驗(yàn);熟悉hive sql的開(kāi)發(fā)
4、熟悉ETL設(shè)計(jì)、調(diào)度、監(jiān)控、算法等,能夠熟練的進(jìn)行事實(shí)表、維度表的開(kāi)發(fā)
5、Flink實(shí)時(shí)等相關(guān)經(jīng)驗(yàn)和Spark批處理經(jīng)驗(yàn)
6、熟悉Doris的使用