崗位職責(zé):
熟悉Hadoop體系架構(gòu)并有源碼級開發(fā)經(jīng)驗,至少熟練使用Python、Java、Scala語言中的一種;
熟悉保險業(yè)務(wù)流程,主導(dǎo)過三個以上保險行業(yè)Hadoop大數(shù)據(jù)平臺的規(guī)劃、設(shè)計、開發(fā)和實施工作;
精通以下至少任意一項技術(shù)方向:
a) 熟悉Spark Streaming、Spark SQL或Spark MLlib,有Spark分布式開發(fā)、部署和實施經(jīng)驗;
b) 熟悉HDFS、Yarn、Kafka、HBase、Flume體系架構(gòu),并有相關(guān)開發(fā)、部署和實施經(jīng)驗;
c) 熟悉常見機(jī)器學(xué)習(xí)算法,并有一定的分布式算法實現(xiàn)經(jīng)驗;
d) 精通MapReduce(MR)/Hive開發(fā),并有系統(tǒng)優(yōu)化經(jīng)驗;
具備較強(qiáng)的自學(xué)能力、新技術(shù)研究探索能力和溝通交流能力,能夠持續(xù)跟蹤大數(shù)據(jù)領(lǐng)域前沿技術(shù),并推動技術(shù)落地與業(yè)務(wù)創(chuàng)新。
任職要求:
1、本科及以上學(xué)歷,計算機(jī)相關(guān)專業(yè),5年以上ETL開發(fā)相關(guān)工作經(jīng)驗;
2、熟練掌握至少一類數(shù)據(jù)庫的SQL使用,如GBASE、GAUSS、PostgreSQL優(yōu)先;
3、熟練編寫Python腳本進(jìn)行ETL數(shù)據(jù)采集,熟悉Python的分布式框架,了解xmlrpc模塊,有分布式組件搭建工作經(jīng)驗者優(yōu)先;
4、熟練使用ETL工具,如Kettle、DolphinScheduler;
5、有保險金融行業(yè)相關(guān)項目經(jīng)驗者優(yōu)先。