崗位職責(zé):
1 主導(dǎo)公司核心大數(shù)據(jù)平臺研發(fā),從需求出發(fā)設(shè)計平臺架構(gòu),優(yōu)化存儲與計算性能,讓平臺能支撐高并發(fā)、高吞吐的業(yè)務(wù)場景;
2 主導(dǎo)企業(yè)級數(shù)據(jù)倉庫與業(yè)務(wù)主題的策劃、設(shè)計與落地,基于業(yè)務(wù)場景搭建分層數(shù)據(jù)模型;
3 負(fù)責(zé)大數(shù)據(jù)存儲系統(tǒng)的設(shè)計與維護(hù),優(yōu)化存儲結(jié)構(gòu),解決數(shù)據(jù)傾斜、存儲冗余等問題;
4 參與數(shù)據(jù)算法的研發(fā)落地,將機(jī)器學(xué)習(xí)/深度學(xué)習(xí)算法(如聚類、回歸、時序預(yù)測)嵌入數(shù)據(jù)鏈路,讓業(yè)務(wù)能實(shí)時獲取用戶分層結(jié)果,支撐個性化運(yùn)營;
5 參與引入AI工作輔助,提升工作效率,提升監(jiān)控平臺健康度,提前預(yù)警潛在風(fēng)險.
任職要求:
1 大數(shù)據(jù)技術(shù)棧:熟練掌握 Hadoop、Spark、Flink 等分布式計算框架,了解 HDFS、YARN 等存儲與資源管理組件;熟悉數(shù)據(jù)倉庫工具(Hive、ClickHouse、Kudu 等),能獨(dú)立設(shè)計分層數(shù)據(jù)模型;
2 精通 Java/Scala/Python一種語言,有大數(shù)據(jù)平臺或數(shù)據(jù)倉庫核心模塊開發(fā)經(jīng)驗(比如參與過實(shí)時計算鏈路搭建、存儲引擎優(yōu)化);
3 了解機(jī)器學(xué)習(xí)框架(如 TensorFlow、PyTorch),能將基礎(chǔ)算法(如聚類、時序預(yù)測)應(yīng)用到數(shù)據(jù)存儲或挖掘場景,有 AI 工具輔助開發(fā)經(jīng)驗(如用自動化建模平臺優(yōu)化數(shù)據(jù)模型)者加分;
4 具備良好的代碼規(guī)范,熟悉 Git、Maven 等開發(fā)工具,能獨(dú)立排查并解決分布式系統(tǒng)問題(如數(shù)據(jù)傾斜、任務(wù)失?。?;
5 能從復(fù)雜業(yè)務(wù)場景中抽象技術(shù)需求,設(shè)計清晰的技術(shù)方案;
6 面對技術(shù)難題,能快速定位根因,并給出可落地的優(yōu)化方案;
7 能和業(yè)務(wù)、數(shù)據(jù)分析師順暢溝通,用 “技術(shù)語言講清業(yè)務(wù)價值”,推動跨團(tuán)隊共識;