1. 負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的整體架構(gòu)設(shè)計(jì),結(jié)合業(yè)務(wù)需求與發(fā)展戰(zhàn)略,制定可擴(kuò)展、高性能、高可用的大數(shù)據(jù)解決方案,確保數(shù)據(jù)的高效存儲(chǔ)、處理與分析。
2. 參與數(shù)據(jù)倉庫、數(shù)據(jù)湖等核心數(shù)據(jù)基礎(chǔ)設(shè)施的架構(gòu)搭建,優(yōu)化數(shù)據(jù)模型,設(shè)計(jì)合理的數(shù)據(jù)分層體系,保障數(shù)據(jù)質(zhì)量與一致性。
3. 設(shè)計(jì)并構(gòu)建全面的數(shù)據(jù)治理體系,涵蓋數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等多個(gè)關(guān)鍵領(lǐng)域。制定統(tǒng)一且適配的數(shù)據(jù)標(biāo)準(zhǔn),確保各業(yè)務(wù)板塊數(shù)據(jù)的一致性與通用性,為數(shù)據(jù)的高效流通與應(yīng)用奠定基礎(chǔ)。
4. 持續(xù)優(yōu)化與完善數(shù)據(jù)治理體系,根據(jù)業(yè)務(wù)發(fā)展變化、行業(yè)規(guī)范更新以及技術(shù)演進(jìn),及時(shí)調(diào)整治理策略與流程,保障數(shù)據(jù)治理體系的有效性與適應(yīng)性。
5. 主導(dǎo)制定公司內(nèi)部的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范,包括數(shù)據(jù)定義、數(shù)據(jù)格式、數(shù)據(jù)編碼規(guī)則等,推動(dòng)數(shù)據(jù)標(biāo)準(zhǔn)在各業(yè)務(wù)部門和技術(shù)團(tuán)隊(duì)中的貫徹執(zhí)行。
6. 建立數(shù)據(jù)質(zhì)量監(jiān)控體系,運(yùn)用數(shù)據(jù)質(zhì)量檢測(cè)工具與算法,對(duì)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)或定期監(jiān)測(cè),及時(shí)發(fā)現(xiàn)數(shù)據(jù)缺失、錯(cuò)誤、不一致等質(zhì)量問題。通過優(yōu)化數(shù)據(jù)采集流程、完善數(shù)據(jù)清洗規(guī)則、加強(qiáng)數(shù)據(jù)錄入校驗(yàn)等措施,持續(xù)提升數(shù)據(jù)質(zhì)量,為業(yè)務(wù)決策提供可靠的數(shù)據(jù)支持。
7. 設(shè)計(jì)并實(shí)施數(shù)據(jù)安全策略與方案,保障數(shù)據(jù)在采集、存儲(chǔ)、傳輸與使用過程中的安全性。應(yīng)對(duì)數(shù)據(jù)安全風(fēng)險(xiǎn)與事件,建立數(shù)據(jù)安全應(yīng)急響應(yīng)機(jī)制。在發(fā)生數(shù)據(jù)安全事故時(shí),能夠迅速采取措施進(jìn)行處理,降低損失,并總結(jié)經(jīng)驗(yàn)教訓(xùn),完善數(shù)據(jù)安全防護(hù)體系。
任職要求:
1. 熟悉數(shù)據(jù)倉庫技術(shù),并有廣泛的實(shí)踐經(jīng)驗(yàn),具備維護(hù)和解決生產(chǎn)問題的能力;
2. 有互聯(lián)網(wǎng)大數(shù)據(jù)量復(fù)雜場(chǎng)景的數(shù)據(jù)倉庫實(shí)踐經(jīng)驗(yàn);
3. 精通大數(shù)據(jù)技術(shù)體系,熟悉 Hadoop 生態(tài)系統(tǒng)、Spark、Flink 等大數(shù)據(jù)處理框架,具備扎實(shí)的分布式系統(tǒng)開發(fā)與架構(gòu)設(shè)計(jì)能力。
4. 熟練掌握數(shù)據(jù)倉庫、數(shù)據(jù)湖架構(gòu)設(shè)計(jì),熟悉大數(shù)據(jù)處理技術(shù)和常見的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、因果推斷等領(lǐng)域內(nèi)容,具有扎實(shí)的數(shù)據(jù)結(jié)構(gòu)基礎(chǔ),有較強(qiáng)的業(yè)務(wù)分析和問題解決能力,有豐富的SQL開發(fā)經(jīng)驗(yàn)。
5. 了解數(shù)據(jù)治理與數(shù)據(jù)安全相關(guān)知識(shí),具備數(shù)據(jù)安全架構(gòu)設(shè)計(jì)與實(shí)施能力。
6. 具備良好的系統(tǒng)性能調(diào)優(yōu)能力,能夠運(yùn)用監(jiān)控工具與性能分析方法,解決系統(tǒng)性能問題。
7. 有海量數(shù)據(jù)分析與標(biāo)簽、畫像相關(guān)數(shù)據(jù)系統(tǒng)建設(shè)經(jīng)驗(yàn);具備較強(qiáng)的問題解決能力與創(chuàng)新思維,能夠應(yīng)對(duì)復(fù)雜業(yè)務(wù)場(chǎng)景下的技術(shù)挑戰(zhàn)。
8. 良好的溝通協(xié)作能力與團(tuán)隊(duì)管理能力,能夠有效推動(dòng)跨部門合作。