崗位職責(zé)
1. 利用大數(shù)據(jù)技術(shù),以醫(yī)療、基因檢測(cè)數(shù)據(jù)為源數(shù)據(jù)進(jìn)行數(shù)倉開發(fā);
2. 設(shè)計(jì)、開發(fā)和維護(hù)數(shù)據(jù)處理流程,包括數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載,確保數(shù)據(jù)的準(zhǔn)確性、完整性和一致性;
3. 設(shè)計(jì)和管理數(shù)據(jù)存儲(chǔ)結(jié)構(gòu),包括數(shù)據(jù)倉庫、數(shù)據(jù)湖等,優(yōu)化數(shù)據(jù)的存儲(chǔ)和查詢性能;
4. 跟蹤和應(yīng)用最新的數(shù)據(jù)技術(shù)和工具,持續(xù)改進(jìn)數(shù)據(jù)開發(fā)流程和數(shù)據(jù)處理效率;
5. 編寫技術(shù)文檔。
任職要求
1. 本科學(xué)歷,計(jì)算機(jī)科學(xué)、數(shù)據(jù)科學(xué)、生物信息學(xué)等相關(guān)領(lǐng)域?qū)I(yè);
2. 經(jīng)驗(yàn)要求:具備3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn);
3. 有扎實(shí)的SQL功底和調(diào)優(yōu)能力,有Java、Python語言的編程能力、有Python 爬蟲經(jīng)驗(yàn);
4. 有Hive數(shù)倉的開發(fā)經(jīng)驗(yàn),掌握數(shù)據(jù)倉庫的經(jīng)典建模方法,屬性數(shù)據(jù)倉庫各類建模理論;
5. 熟悉大數(shù)據(jù)存儲(chǔ)和計(jì)算引擎生態(tài)棧,熟悉Hadoop、Spark、阿里云DataWorks+MaxCompute等相關(guān)組件技術(shù)并有相關(guān)開發(fā)經(jīng)驗(yàn);
6. 熟悉常用的關(guān)系型、非關(guān)系型數(shù)據(jù)庫,分布式存儲(chǔ)引擎,如Mysql、MongoDB、Doris等相關(guān)組件技術(shù)并有相關(guān)開發(fā)經(jīng)驗(yàn);
7. 對(duì)數(shù)據(jù)同步工具如DataX、Sqoop等有一定的使用經(jīng)驗(yàn);
8. 有半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)處理經(jīng)驗(yàn)。