職位詳情
（一）數(shù)據(jù)平臺(tái)架構(gòu)與運(yùn)維
a)參與數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì)與搭建，運(yùn)用 Flink、Flink CDC、Doris 等技術(shù)實(shí)現(xiàn)平臺(tái)高性能部署
b)負(fù)責(zé)平臺(tái)日常運(yùn)維，優(yōu)化數(shù)據(jù)處理流程，保障 7×24 小時(shí)數(shù)據(jù)服務(wù)可用性
c)主導(dǎo)大數(shù)據(jù)技術(shù)棧（Hadoop/Spark 生態(tài)）與 MPP 數(shù)據(jù)庫(kù)的集成方案設(shè)計(jì)
（二）數(shù)倉(cāng)體系建設(shè)
d)基于 Inmon/CIF 理論設(shè)計(jì)數(shù)倉(cāng)分層架構(gòu)（ODS/DWD/DWS/ADS），制定數(shù)據(jù)流向規(guī)范
e）運(yùn)用星型 / 雪花模型完成維度建模，處理緩慢變化維、事實(shí)表粒度設(shè)計(jì)等復(fù)雜場(chǎng)景
f)主導(dǎo) ETL 全流程開(kāi)發(fā)，優(yōu)化數(shù)據(jù)清洗、轉(zhuǎn)換規(guī)則，實(shí)現(xiàn)跨系統(tǒng)數(shù)據(jù)標(biāo)準(zhǔn)化整合
（三）數(shù)據(jù)處理與價(jià)值挖掘
g)編寫(xiě)復(fù)雜 SQL 腳本完成 PB 級(jí)數(shù)據(jù)清洗、聚合與多維分析，支撐業(yè)務(wù)決策報(bào)表
h)設(shè)計(jì)實(shí)時(shí)數(shù)據(jù)鏈路（Kafka+Flink），實(shí)現(xiàn)業(yè)務(wù)指標(biāo)秒級(jí)更新與異常預(yù)警
i)基于 Doris/StarRocks 構(gòu)建高速查詢引擎，優(yōu)化查詢響應(yīng)時(shí)間至毫秒級(jí)
（四）數(shù)據(jù)治理與質(zhì)量管控
j)建立數(shù)據(jù)質(zhì)量監(jiān)控體系，制定完整性 / 一致性 / 及時(shí)性等評(píng)估指標(biāo)
k)主導(dǎo)數(shù)據(jù)安全策略落地，實(shí)現(xiàn)敏感數(shù)據(jù)脫敏、訪問(wèn)權(quán)限細(xì)粒度管控
l)編寫(xiě)數(shù)據(jù)字典與血緣關(guān)系文檔，推動(dòng)數(shù)據(jù)資產(chǎn)可視化管理
核心經(jīng)驗(yàn)
?5 年以上數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)，3 年以上數(shù)倉(cāng)建設(shè)主導(dǎo)經(jīng)驗(yàn)
?具備電商 / 金融 / 互聯(lián)網(wǎng)等行業(yè)大型數(shù)倉(cāng)項(xiàng)目落地案例
?主導(dǎo)過(guò) 100 + 維度表、50 + 事實(shí)表的模型設(shè)計(jì)與優(yōu)化