必須會(huì)Java,必須會(huì)使用scala開(kāi)發(fā)spark任務(wù),必須會(huì)flink實(shí)時(shí)開(kāi)發(fā),純ETL不合適
崗位職責(zé):
1、主要負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè),離線和實(shí)時(shí)場(chǎng)景建模;
2、參與業(yè)務(wù)梳理和業(yè)務(wù)分析場(chǎng)景應(yīng)用;
3、對(duì)數(shù)據(jù)的穩(wěn)定性和業(yè)務(wù)一致性進(jìn)行保障;
4、梳理業(yè)務(wù)資產(chǎn)并進(jìn)行數(shù)據(jù)治理,支持?jǐn)?shù)據(jù)接入接出服務(wù)。
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專(zhuān)業(yè);
2、 3年以上大數(shù)據(jù)工作經(jīng)驗(yàn);
3、扎實(shí)的java基礎(chǔ),熟練使用spring boot,spring cloud框架;
4、熟練使用scala,python語(yǔ)言。
5、熟練企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)體系構(gòu)建,精通多種數(shù)據(jù)源SQL。
6、掌握分布式計(jì)算原理及hadoop、spark、kafka、hbase、hive、flink、hbase、es等大數(shù)據(jù)體系框架。
7、熟練使用datax,seatunnel等離線數(shù)據(jù)處理工具;
8、熟練linux常用操作命令、部署應(yīng)用等。
9、掌握presto/trino、clickhouse、doris數(shù)據(jù)庫(kù)的使用。