1.負(fù)責(zé)公司大數(shù)據(jù)平臺(離線/實時)的架構(gòu)設(shè)計及開發(fā),服務(wù)器集群的搭建和部署,支撐數(shù)據(jù)和算法在境內(nèi)外業(yè)務(wù)的應(yīng)用;
2.負(fù)責(zé)?數(shù)據(jù)平臺的開發(fā)、組件調(diào)優(yōu)和運維部署,搭建包括數(shù)據(jù)?集、數(shù)據(jù)集成、任務(wù)調(diào)度、元數(shù)據(jù)管理、數(shù)據(jù)?緣、DQC等系統(tǒng),以確保數(shù)據(jù)處理的高效性和準(zhǔn)確性;
3.負(fù)責(zé)搭建高性能、?可用的數(shù)據(jù)管道,支撐用戶行為埋點、實時分析及離線數(shù)據(jù)處理需求;參與大數(shù)據(jù)架構(gòu)的規(guī)劃與實施,推動數(shù)據(jù)平臺的技術(shù)創(chuàng)新和性能提升;
4.優(yōu)化數(shù)據(jù)存儲方案(如MySQL分庫分表、Redis集群、JuiceFS分布式存儲),提升平臺數(shù)據(jù)讀寫效率;
- 設(shè)計并實現(xiàn)對多源數(shù)據(jù)的實時與離線采集、清洗、轉(zhuǎn)換與存儲,確保數(shù)據(jù)的完整性與準(zhǔn)確性;
- 基于業(yè)務(wù)需求,搭建數(shù)據(jù)倉庫/數(shù)據(jù)湖,對海量數(shù)據(jù)進行ETL和建模,為后續(xù)分析和可視化提供支持;
- 參與大數(shù)據(jù)生態(tài)系統(tǒng)(Hadoop/Spark/Flink等)的選型與落地,優(yōu)化數(shù)據(jù)作業(yè)的性能和資源利用率;
8.與團隊緊密合作,解決復(fù)雜的數(shù)據(jù)處理和分析問題,提供技術(shù)解決方案。
任職要求:
- 本科及以上學(xué)歷(硬性條件),計算機相關(guān)專業(yè),5年以上大數(shù)據(jù)相關(guān)工作經(jīng)驗,有完整的分布式數(shù)據(jù)存儲計算平臺項目實施經(jīng)驗;會使用Doris者優(yōu)先考慮
- 熟悉Hadoop生態(tài)圈和數(shù)據(jù)庫相關(guān)技術(shù),有Hive/Iceberg/Spark/Flink/HBase/Elasticsearch/Clickhouse等經(jīng)驗者優(yōu)先;
- 熟悉Linux開發(fā)環(huán)境,能使用Python/Java/Scala/Go一種或多種編程語言進行工程實現(xiàn);
- 具備良好的數(shù)據(jù)庫設(shè)計和優(yōu)化能力,熟悉SQL及NoSQL數(shù)據(jù)庫;
- 有數(shù)據(jù)模型設(shè)計及ETL流程設(shè)計經(jīng)驗,對數(shù)據(jù)倉庫/數(shù)據(jù)湖的架構(gòu)和實現(xiàn)有一定認(rèn)知,并能結(jié)合業(yè)務(wù)需求優(yōu)化數(shù)據(jù)管道;
- 熟悉主流容器化與微服務(wù)生態(tài),如Docker、Kubernetes、API網(wǎng)關(guān)等,能夠在分布式環(huán)境下進行部署與調(diào)度;
- 對高并發(fā)、高可用數(shù)據(jù)系統(tǒng)有一定的設(shè)計、開發(fā)或運維經(jīng)驗,有真實上線場景者優(yōu)先;
- 責(zé)任心強,熱愛技術(shù)擁抱開源,有良好的協(xié)作能力和邏輯思維,善于分析和閉環(huán)解決問題。