職位描述
我們正在尋找一位具備3-5年大數(shù)據(jù)開發(fā)經(jīng)驗的工程師，加入我們快速發(fā)展的數(shù)據(jù)團隊。您將負責基于現(xiàn)代數(shù)據(jù)湖倉架構（StarRocks+Paimon、Delta Lake+Spark）構建高效的數(shù)據(jù)平臺，建立完善的數(shù)據(jù)治理體系，并探索AI與大數(shù)據(jù)融合的創(chuàng)新應用。如果您對數(shù)據(jù)架構演進、數(shù)據(jù)質量管理和AI驅動的大數(shù)據(jù)應用有濃厚興趣，我們期待您的加入。
核心職責
1、 現(xiàn)代數(shù)據(jù)架構開發(fā)與治理
①基于 StarRocks
+ Paimon 構建高性能的實時湖倉一體分析平臺
②基于 Delta Lake + Spark 構建可靠的數(shù)據(jù)湖架構
③建立并維護數(shù)據(jù)治理體系，包括數(shù)據(jù)標準、數(shù)據(jù)質量管理、元數(shù)據(jù)管理等
2、 數(shù)據(jù)處理與質量保障
①開發(fā)高質量的數(shù)據(jù)處理程序，支持特征工程和模型訓練
②設計和實施數(shù)據(jù)質量管理框架，確保數(shù)據(jù)的準確性、完整性和一致性
③構建監(jiān)控告警體系，實時跟蹤數(shù)據(jù)質量指標
3、 數(shù)據(jù)治理體系建設
①建立企業(yè)級數(shù)據(jù)治理框架，制定數(shù)據(jù)管理規(guī)范和流程
②實施數(shù)據(jù)質量管理方案，包括數(shù)據(jù)質量規(guī)則定義、質量評估和問題追蹤
③推動數(shù)據(jù)血緣分析和影響分析，構建數(shù)據(jù)資產地圖
4、 AI應用支持與數(shù)據(jù)服務
①與算法工程師協(xié)作，構建高效的特征工程流水線
②支持機器學習平臺的數(shù)據(jù)需求，提供高質量的訓練數(shù)據(jù)集
③參與AI應用的數(shù)據(jù)架構設計和實施
任職要求
必需條件（3年以上經(jīng)驗）
1、 核心技術棧
①現(xiàn)代數(shù)據(jù)湖倉架構：精通 StarRocks 和 Paimon，有實際項目部署和優(yōu)化經(jīng)驗
②數(shù)據(jù)湖技術：精通 Delta Lake 和 Spark，熟悉ACID事務、時間旅行等特性
③數(shù)據(jù)治理能力：有建立數(shù)據(jù)治理框架的實際經(jīng)驗，理解數(shù)據(jù)質量管理體系
④編程能力：熟練掌握 Python、Java/Scala，具備扎實的編碼功底
2、 架構與工程經(jīng)驗
①3年以上大數(shù)據(jù)開發(fā)經(jīng)驗，其中至少1年專注于現(xiàn)代數(shù)據(jù)湖倉架構
②完整參與過基于StarRocks+Paimon或Delta Lake+Spark的項目實施
③有數(shù)據(jù)治理體系建設的實踐經(jīng)驗，包括數(shù)據(jù)標準制定、質量規(guī)則設計等
④數(shù)據(jù)質量管理經(jīng)驗：熟悉DQC、數(shù)據(jù)探查、質量監(jiān)控等工具和方法論
3、 AI應用開發(fā)能力
①有大數(shù)據(jù)與AI結合的項目經(jīng)驗，了解機器學習工作流程
②具備特征工程開發(fā)經(jīng)驗，能夠構建高質量的特征數(shù)據(jù)集
③了解模型訓練的數(shù)據(jù)預處理和流水線構建
④有PySpark或Spark MLlib的使用經(jīng)驗
深度能力要求
1、 數(shù)據(jù)治理專業(yè)能力
①數(shù)據(jù)治理框架設計：能夠設計符合企業(yè)實際的數(shù)據(jù)治理體系架構
②數(shù)據(jù)質量管理：精通數(shù)據(jù)質量維度（完整性、準確性、一致性、時效性等）
③元數(shù)據(jù)管理：熟悉元數(shù)據(jù)采集、管理、應用全流程
④數(shù)據(jù)標準制定：有數(shù)據(jù)分類、數(shù)據(jù)字典、數(shù)據(jù)標準制定的實際經(jīng)驗
2、 技術實施能力
①精通StarRocks的物化視圖、索引優(yōu)化和查詢加速
②深入理解Paimon的LSM樹結構、合并策略和流批一體讀寫
③掌握Delta Lake的Schema演進、數(shù)據(jù)治理和性能優(yōu)化
④能開發(fā)數(shù)據(jù)質量監(jiān)控工具，實現(xiàn)自動化的質量檢測
優(yōu)先考慮（加分項）
1、 高級數(shù)據(jù)治理經(jīng)驗
①熟悉DAMA、DCMM等數(shù)據(jù)治理框架
②有數(shù)據(jù)資產目錄、數(shù)據(jù)地圖項目實施經(jīng)驗
③了解數(shù)據(jù)安全治理和隱私保護相關技術
④有數(shù)據(jù)治理平臺工具選型或自研經(jīng)驗
2、 AI工程化治理
①有特征治理（Feature Governance）實踐經(jīng)驗
②了解模型數(shù)據(jù)質量管理（Model Data Quality）
③有MLOps中的數(shù)據(jù)治理經(jīng)驗
④熟悉AI應用中的數(shù)據(jù)血緣追蹤
3、 行業(yè)認證與社區(qū)
①擁有CDMP、CDGA/CDGP等數(shù)據(jù)治理認證
②參與過開源數(shù)據(jù)治理項目貢獻
③在數(shù)據(jù)治理相關會議有分享經(jīng)驗
教育背景
計算機科學、軟件工程、數(shù)據(jù)科學或相關專業(yè)本科及以上學歷