該職位集團(tuán)內(nèi)部職位名稱(chēng)為數(shù)據(jù)湖工程師， 他/她將負(fù)責(zé)開(kāi)發(fā)和維護(hù)數(shù)據(jù)基礎(chǔ)設(shè)施及客戶/運(yùn)營(yíng)分析能力，以支持威立雅中國(guó)團(tuán)隊(duì)的信息需求。該職位將設(shè)計(jì)中國(guó)數(shù)據(jù)湖（基于云的大數(shù)據(jù)架構(gòu)），構(gòu)建和擴(kuò)展數(shù)字解決方案，包括統(tǒng)計(jì)數(shù)據(jù)分析、數(shù)據(jù)挖掘、商業(yè)智能、數(shù)據(jù)倉(cāng)庫(kù)等；同時(shí)負(fù)責(zé)數(shù)據(jù)湖技術(shù)、平臺(tái)和數(shù)據(jù)中心的運(yùn)營(yíng)、部署和維護(hù)，包括數(shù)據(jù)風(fēng)險(xiǎn)與安全維護(hù)監(jiān)控、數(shù)據(jù)治理（數(shù)據(jù)訪問(wèn)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)變更管理、數(shù)據(jù)恢復(fù)等）以及數(shù)據(jù)分類(lèi)、ETL、計(jì)算、優(yōu)化等工作。
架構(gòu)設(shè)計(jì)與開(kāi)發(fā)：
- 定義系統(tǒng)級(jí)架構(gòu)，進(jìn)行維度建模和數(shù)據(jù)集市設(shè)計(jì)
- 構(gòu)建高度可擴(kuò)展的數(shù)據(jù)集市供威立雅中國(guó)使用
- 構(gòu)建整體數(shù)據(jù)集市架構(gòu)，設(shè)計(jì)并記錄數(shù)據(jù)系統(tǒng)生態(tài)
- 設(shè)計(jì)高度可擴(kuò)展的數(shù)據(jù)湖數(shù)據(jù)提取解決方案
- 架構(gòu)設(shè)計(jì)數(shù)據(jù)質(zhì)量框架的詳細(xì)方案
數(shù)據(jù)湖運(yùn)營(yíng)與維護(hù)：
- 負(fù)責(zé)基于云平臺(tái)組件的威立雅中國(guó)數(shù)據(jù)湖技術(shù)運(yùn)營(yíng)和維護(hù)，包括部署和優(yōu)化、客戶培訓(xùn)和溝通、現(xiàn)場(chǎng)技術(shù)服務(wù)等
- 負(fù)責(zé)云平臺(tái)組件優(yōu)化需求的分析、開(kāi)發(fā)和實(shí)施，解決威立雅中國(guó)數(shù)據(jù)湖運(yùn)營(yíng)維護(hù)中的疑難故障、性能瓶頸等問(wèn)題
- 協(xié)助構(gòu)建基于阿里云的威立雅中國(guó)數(shù)據(jù)湖數(shù)據(jù)治理體系，研究阿里云運(yùn)維技術(shù)，協(xié)助制定威立雅中國(guó)數(shù)據(jù)湖運(yùn)維技術(shù)方案
數(shù)據(jù)治理與管理：
- 負(fù)責(zé)數(shù)據(jù)風(fēng)險(xiǎn)與安全維護(hù)監(jiān)控，以及數(shù)據(jù)治理工作，包括但不限于數(shù)據(jù)訪問(wèn)、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)變更管理、數(shù)據(jù)恢復(fù)等
- 負(fù)責(zé)數(shù)據(jù)湖和數(shù)據(jù)中心的數(shù)據(jù)分類(lèi)、ETL、計(jì)算、優(yōu)化等工作
- 負(fù)責(zé)技術(shù)文檔的管理和編制維護(hù)
跨部門(mén)協(xié)作：
- 與威立雅中國(guó)不同業(yè)務(wù)部門(mén)合作，將業(yè)務(wù)需求轉(zhuǎn)化為技術(shù)功能規(guī)范
- 與不同平臺(tái)/系統(tǒng)所有者和供應(yīng)商合作，為威立雅中國(guó)制定***解決方案，同時(shí)平衡范圍、成本和時(shí)間
- 與大數(shù)據(jù)分析和數(shù)據(jù)科學(xué)團(tuán)隊(duì)互動(dòng)，開(kāi)發(fā)最有效的分析和高級(jí)算法模型，實(shí)現(xiàn)數(shù)據(jù)價(jià)值的最優(yōu)提?。?br>- 與外部供應(yīng)商進(jìn)行云平臺(tái)運(yùn)營(yíng)溝通
- 與其他項(xiàng)目團(tuán)隊(duì)協(xié)調(diào)技術(shù)細(xì)節(jié)
技術(shù)研究與培訓(xùn)：
- 研究并跟進(jìn)大數(shù)據(jù)架構(gòu)的新技術(shù)并分享
- 大數(shù)據(jù)處理和分析應(yīng)用平臺(tái)設(shè)計(jì)指導(dǎo)
- 制定培訓(xùn)指南，對(duì)團(tuán)隊(duì)成員進(jìn)行新技術(shù)交叉培訓(xùn)
- 規(guī)劃公有云自動(dòng)化運(yùn)維工具和輔助工具
任職要求：
- 計(jì)算機(jī)科學(xué)、數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、應(yīng)用數(shù)學(xué)等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷
- 3年以上軟件開(kāi)發(fā)和云平臺(tái)系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)
- 具有PaaS平臺(tái)運(yùn)維經(jīng)驗(yàn)，有AWS、阿里云、騰訊云、華為云等公有云運(yùn)維背景者優(yōu)先
- 具有SaaS/云產(chǎn)品/服務(wù)經(jīng)驗(yàn)
- 深入理解數(shù)據(jù)湖和數(shù)據(jù)治理概念
- 具有大規(guī)模數(shù)據(jù)集上分布式系統(tǒng)軟件的設(shè)計(jì)和開(kāi)發(fā)經(jīng)驗(yàn)，用于機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和分析
- 具有預(yù)測(cè)建模經(jīng)驗(yàn)者優(yōu)先
- 編程語(yǔ)言能力（必須掌握以下至少2-3種）：
? 精通Python開(kāi)發(fā)語(yǔ)言
? 熟練掌握J(rèn)ava
? 掌握Go語(yǔ)言者優(yōu)先
? 掌握Rust語(yǔ)言者優(yōu)先
? 熟悉其他現(xiàn)代編程語(yǔ)言
- 數(shù)據(jù)庫(kù)與SQL：
? 精通SQL
? 熟練掌握各種關(guān)系型數(shù)據(jù)庫(kù)（如MySQL等）的配置和調(diào)優(yōu)
? 熟練掌握各種非關(guān)系型數(shù)據(jù)庫(kù)（如Redis等）的配置和調(diào)優(yōu)
? 具有結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)操作經(jīng)驗(yàn)（必須）
? 具有Spark/Flink在NoSQL數(shù)據(jù)庫(kù)上的技能者優(yōu)先
- 大數(shù)據(jù)技術(shù)：
? 熟悉算法和優(yōu)化
? 具有流式分析和實(shí)時(shí)處理經(jīng)驗(yàn)，如Spark Streaming、Storm等者優(yōu)先
? 熟悉常用組件的配置和調(diào)優(yōu)，如Nginx、Redis、MySQL、RocketMQ等，能夠進(jìn)行調(diào)試
- 云平臺(tái)與阿里云：
? 熟悉阿里云各種產(chǎn)品和服務(wù)，如Maxcompute, Hologres
? 熟悉云平臺(tái)運(yùn)營(yíng)和維護(hù)
? 熟悉阿里云運(yùn)維技術(shù)
- 系統(tǒng)與運(yùn)維：
? 熟悉Linux操作系統(tǒng)
? 熟悉Windows操作系統(tǒng)
? 精通運(yùn)維工具開(kāi)發(fā)和腳本編寫(xiě)
? 熟悉ITIL和DevOps的運(yùn)維控制流程
? 具有硬件和網(wǎng)絡(luò)基礎(chǔ)知識(shí)
? 熟悉常用運(yùn)維工具和平臺(tái)（如Nagios、Zabbix、Ansible等）
- 企業(yè)系統(tǒng)集成：
? 熟悉企業(yè)系統(tǒng)集成
? 了解通信協(xié)議，如MQTT、HTTP、HTTPS等