崗位職責
1. 基于 Azure Databricks 平臺，設計與開發(fā)高效、可靠的數(shù)據處理管道。
2. 使用 SQL 與 Spark 進行大規(guī)模數(shù)據的清洗、轉換、聚合與計算。
3. 構建與優(yōu)化數(shù)據倉庫及數(shù)據模型，保障數(shù)據架構的合理性與查詢性能。
4. 開發(fā)與維護數(shù)據服務與接口，支持報表系統(tǒng)及下游數(shù)據消費。
5. 實施數(shù)據質量監(jiān)控與校驗，確保數(shù)據處理結果的準確性與穩(wěn)定性。
6. 持續(xù)優(yōu)化數(shù)據處理任務的執(zhí)行效率與資源利用率。
任職要求（必需）
1. 統(tǒng)招本科及以上學歷，計算機、軟件工程等相關專業(yè)。
2. 大數(shù)據開發(fā)經驗。
3. 精通 SQL，能編寫復雜查詢并進行深度性能優(yōu)化。
4. 擁有 Azure Databricks 平臺的商業(yè)項目開發(fā)與運維實戰(zhàn)經驗。
5. 熟練掌握 Spark 開發(fā)，理解其核心原理與調優(yōu)方法。
6. 具備 Python 開發(fā)能力，用于腳本編寫、任務自動化及數(shù)據處理。
7. 具備數(shù)據倉庫建模的實際經驗。
8. 能夠將英語作為工作語言，熟練閱讀英文技術文檔、平臺界面及代碼。
9. 良好的團隊協(xié)作與溝通能力。
優(yōu)先條件
1. 熟悉 Delta Lake / Data Lakehouse 架構及最佳實踐。
2. 擁有 Microsoft Azure 云服務相關經驗，特別是 Azure Data Factory (ADF) 和 ADLS。
3. 了解 Databricks Unity Catalog 等數(shù)據治理工具。