崗位職責(zé):
1、參與大數(shù)據(jù)基礎(chǔ)平臺(tái)的規(guī)劃和架構(gòu)設(shè)計(jì),包括但不限于需求分析、架構(gòu)設(shè)計(jì)、技術(shù)決策以及詳細(xì)設(shè)計(jì);
2、為現(xiàn)有大數(shù)據(jù)平臺(tái)提供性能調(diào)優(yōu)、架構(gòu)優(yōu)化重組,解決系統(tǒng)中的關(guān)鍵問(wèn)題和技術(shù)難題;
3、把握基礎(chǔ)業(yè)務(wù)復(fù)雜系統(tǒng)的設(shè)計(jì),確保系統(tǒng)的架構(gòu)質(zhì)量,編寫核心部分代碼;
4、負(fù)責(zé)多源異構(gòu)數(shù)據(jù)的采集和加工;
5、持續(xù)挑戰(zhàn)新的技術(shù)方向,攻克大數(shù)據(jù)量,高穩(wěn)定性,易用性等各種技術(shù)難點(diǎn);
6、完成公司交辦的其他相關(guān)工作。
任職要求:
1、統(tǒng)招本科及以上,5年以上大數(shù)據(jù)工作經(jīng)驗(yàn),具備架構(gòu)、數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)相關(guān)經(jīng)驗(yàn);
2、熟練使用并理解Hadoop架構(gòu)和生態(tài)(Spark、Flink、Hive等);
3、熟練python、java、scala等任意兩種開(kāi)發(fā)語(yǔ)言;
4、熟練使用clickhouse、ElasticSearch;
5、分布式實(shí)時(shí)計(jì)算平臺(tái)架構(gòu)和開(kāi)發(fā)相關(guān)經(jīng)驗(yàn)優(yōu)先;
6、有能力進(jìn)行平臺(tái)調(diào)優(yōu)和業(yè)務(wù)支撐設(shè)計(jì);
7、具有團(tuán)隊(duì)合作、良好的溝通技巧和主動(dòng)挑戰(zhàn)困難能力;
8、有知識(shí)產(chǎn)權(quán)數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先。
9、有爬蟲(chóng)經(jīng)驗(yàn)優(yōu)先(反爬、代理、驗(yàn)證碼等)。