工作內(nèi)容:
1. 需求溝通和數(shù)據(jù)鏈路梳理,項(xiàng)目架構(gòu)設(shè)計(jì)。
2. 系統(tǒng)數(shù)據(jù)流梳理,保信數(shù)據(jù)同步實(shí)現(xiàn)方案制定。
3. 數(shù)據(jù)平臺(tái)落地:資源評(píng)估+數(shù)倉(cāng)搭建。
4. 客戶現(xiàn)場(chǎng)系統(tǒng)優(yōu)化,支持項(xiàng)目驗(yàn)收。
任職要求:
計(jì)算機(jī)或數(shù)學(xué)相關(guān)專業(yè),本科以上學(xué)歷,學(xué)信網(wǎng)可查。
1、 熟悉Hadoop生態(tài)圈,HDFS分布式文件系統(tǒng)存儲(chǔ)原理,MapReduce計(jì)算流程
2、熟悉Spark任務(wù)執(zhí)行流程,理解RDD屬性,SparkStreaming流式計(jì)算原理和SparkSQL
3、熟練使用Flink實(shí)時(shí)流處理技術(shù),并能夠進(jìn)行數(shù)據(jù)處理分析,實(shí)時(shí)數(shù)倉(cāng)搭建
4、熟練掌握Doris,ClickHouse,Hudi,HBase等OLAP數(shù)據(jù)庫(kù)