工作職責(zé):
1. 負(fù)責(zé)大數(shù)據(jù)平臺的數(shù)據(jù)開發(fā)工作,支持海量業(yè)務(wù)數(shù)據(jù)流批同步;
2. 能獨(dú)立完成海量數(shù)據(jù)的獲取,清洗,分類,聚合等數(shù)據(jù)處理工作,為應(yīng)用組提供數(shù)據(jù)支撐;
3. 從事大數(shù)據(jù)存儲,實(shí)時和離線計(jì)算,數(shù)據(jù)研判工作,建設(shè)數(shù)據(jù)標(biāo)簽體系,分析業(yè)務(wù)數(shù)據(jù)價(jià)值并能達(dá)到實(shí)時預(yù)警。
任職資格:
1. 熟練掌握 java python shell sql dsl ;
2. 熟悉開源體系 hadoop spark flink cdc / cep postgresql各類插件;
熟悉 xxl-job dolphinscheduler 等調(diào)度平臺以及原生quartz 原生調(diào)度框架;
熟悉開源ETL 工具、 logstash、 flinkCDC ;
3. 掌握 mysql oracle ,精通 postgresql mongdb es doris 等開源數(shù)據(jù)庫和mpp型數(shù)據(jù)庫,信創(chuàng)數(shù)據(jù)庫方面精通tidb、oceanBase,有湖倉實(shí)戰(zhàn)經(jīng)驗(yàn),掌握pamion、iceberg存儲,并具備調(diào)優(yōu)經(jīng)驗(yàn);
4.有大數(shù)據(jù)思想,對象存儲,數(shù)據(jù)分級分類經(jīng)驗(yàn)者優(yōu)先, 要求思路要清晰 ,性格開朗,有好的心態(tài)。有醫(yī)療大數(shù)據(jù)從業(yè)背景的優(yōu)先。