一、崗位職責(zé)
1. 獨(dú)立負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)的清洗、加工與建模工作，基于離線計(jì)算與實(shí)時(shí)計(jì)算任務(wù)完成數(shù)據(jù)采集、轉(zhuǎn)換、加工與入倉。
2. 根據(jù)業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)處理邏輯，使用 SQL 與計(jì)算框架完成復(fù)雜數(shù)據(jù)抽取、清洗、關(guān)聯(lián)、聚合與指標(biāo)計(jì)算。
3. 負(fù)責(zé)數(shù)據(jù)倉庫分層模型建設(shè)與維護(hù)（ODS / DWD / DWS / ADS），保障數(shù)據(jù)口徑一致與可復(fù)用。
4. 設(shè)計(jì)與優(yōu)化 ETL/ELT 數(shù)據(jù)鏈路，提升任務(wù)穩(wěn)定性、執(zhí)行效率與數(shù)據(jù)質(zhì)量。
5. 負(fù)責(zé)數(shù)據(jù)任務(wù)的調(diào)度、監(jiān)控與異常處理，保障數(shù)據(jù)鏈路穩(wěn)定運(yùn)行。
6. 深度配合業(yè)務(wù)團(tuán)隊(duì)，理解業(yè)務(wù)邏輯，將需求轉(zhuǎn)化為可落地的數(shù)據(jù)模型與指標(biāo)體系。
7. 持續(xù)進(jìn)行 SQL 與數(shù)據(jù)處理性能優(yōu)化，降低資源消耗，提高計(jì)算效率。
二、崗位要求
1. 本科及以上學(xué)歷，計(jì)算機(jī)、軟件工程、信息工程、統(tǒng)計(jì)、數(shù)學(xué)等相關(guān)專業(yè)。
2. 熟練使用 SQL，能夠獨(dú)立完成復(fù)雜查詢、窗口函數(shù)、子查詢、分組聚合等。
3.熟練掌握 Java / Python / Scala 中至少一種，能夠獨(dú)立開發(fā)數(shù)據(jù)清洗與計(jì)算任務(wù)。
4.熟悉 Linux 命令及 Shell 腳本，具備數(shù)據(jù)處理與任務(wù)自動化能力。
5. 熟練使用 Hive / Spark SQL / ClickHouse / MySQL 等數(shù)據(jù)處理引擎中的至少一種。
6. 熟練使用 Spark / Flink / Hadoop 等大數(shù)據(jù)計(jì)算框架之一，并具備以下能力：
* 能夠獨(dú)立開發(fā)批處理任務(wù)（Spark Core / Spark SQL），完成復(fù)雜數(shù)據(jù)清洗、轉(zhuǎn)換、聚合與指標(biāo)計(jì)算。
* 熟悉 Flink 流處理，能夠完成實(shí)時(shí)數(shù)據(jù)清洗、計(jì)算與入庫，對事件時(shí)間、狀態(tài)管理、Checkpoint、Watermark 等機(jī)制有實(shí)踐經(jīng)驗(yàn)。
* 熟悉 Spark / Flink 任務(wù)調(diào)優(yōu)方法，包括并行度設(shè)置、內(nèi)存管理、Shuffle 優(yōu)化、Join 優(yōu)化等。
* 具備批流一體化或?qū)崟r(shí) ETL 項(xiàng)目經(jīng)驗(yàn)，能夠設(shè)計(jì)穩(wěn)定、高效的數(shù)據(jù)處理鏈路。
* 了解 Hadoop HDFS 存儲機(jī)制及常用組件（YARN、MapReduce 等），能進(jìn)行資源管理與調(diào)度優(yōu)化。
7. 熟悉數(shù)據(jù)倉庫建模方法與分層設(shè)計(jì)，具備完整數(shù)倉建設(shè)或重構(gòu)經(jīng)驗(yàn)者優(yōu)先。
8. 熟悉常見數(shù)據(jù)質(zhì)量問題及處理方法，有數(shù)據(jù)校驗(yàn)、監(jiān)控、排錯(cuò)經(jīng)驗(yàn)。
7. 具備良好的業(yè)務(wù)理解能力與溝通能力，能夠獨(dú)立對接業(yè)務(wù)需求并推動落地。