職位描述
數(shù)據(jù)挖掘數(shù)據(jù)建模數(shù)據(jù)倉庫人工智能云計算/大數(shù)據(jù)汽車研發(fā)/制造
主要職責(zé)
1. 數(shù)據(jù)倉庫與數(shù)據(jù)湖建設(shè):負(fù)責(zé)迭代優(yōu)化公司級數(shù)據(jù)倉庫/數(shù)據(jù)湖架構(gòu)的設(shè)計與實(shí)施。
2. 數(shù)據(jù)處理 pipeline 開發(fā):
- 使用 Spark、Flink 等框架開發(fā)高效、穩(wěn)定的批處理和實(shí)時數(shù)據(jù)處理管道。
- 精通 FlinkSQL,并利用其進(jìn)行實(shí)時數(shù)據(jù)流的處理和聚合,深刻理解其狀態(tài)管理、時間語義、Exactly-Once等核心技術(shù)細(xì)節(jié)。
3. 數(shù)據(jù)治理與質(zhì)量保障:
- 建立并執(zhí)行數(shù)據(jù)質(zhì)量管理體系,包括數(shù)據(jù)血緣、元數(shù)據(jù)管理、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)生命周期管理等。
- 能夠快速發(fā)現(xiàn)、定位并解決數(shù)據(jù)延遲、異常、質(zhì)量波動等問題,嚴(yán)格履行承諾的數(shù)據(jù)SLA/SLI。
4. 數(shù)據(jù)服務(wù)與性能優(yōu)化:
- 基于 StarRocks、Doris 或 Trino 等OLAP引擎,為數(shù)據(jù)分析、報表和即席查詢提供高性能數(shù)據(jù)服務(wù)。
- 持續(xù)對數(shù)據(jù)管道、計算任務(wù)和查詢語句進(jìn)行性能調(diào)優(yōu),包括但不限于資源調(diào)配、SQL優(yōu)化、索引優(yōu)化等。
5. 技術(shù)組件運(yùn)維與開發(fā):負(fù)責(zé)大數(shù)據(jù)組件的選型、集成、配置與優(yōu)化(如 Kafka, HDFS, Paimon 等)。
任職要求
- 必備技能與經(jīng)驗(yàn):
- 計算機(jī)科學(xué)、信息技術(shù)或相關(guān)專業(yè)本科及以上學(xué)歷,3年以上數(shù)據(jù)領(lǐng)域開發(fā)經(jīng)驗(yàn)。
- 精通 SQL,擁有極強(qiáng)的SQL編寫和優(yōu)化能力,熟悉多種數(shù)據(jù)庫的特性和調(diào)優(yōu)技巧。
- 精通 Flink 實(shí)時計算技術(shù),尤其是 FlinkSQL 的實(shí)戰(zhàn)應(yīng)用,深刻理解其運(yùn)行時原理和細(xì)節(jié)。
- 具備豐富的數(shù)據(jù)倉庫建設(shè)經(jīng)驗(yàn),熟悉分層建模理論(如維度建模)。
- 具備扎實(shí)的 Java 或 Python 編程能力,能夠進(jìn)行核心模塊的開發(fā)。
- 擁有實(shí)際的數(shù)據(jù)治理經(jīng)驗(yàn),熟悉數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理等實(shí)踐方法。
- 熟練掌握以下至少兩種大數(shù)據(jù)技術(shù):
- 計算引擎:Spark、Flink、Trino/Presto
- 消息隊列:Kafka(要求具備配置、優(yōu)化及故障排查能力)
- 存儲系統(tǒng):HDFS、對象存儲(S3/OSS)
- OLAP引擎:StarRocks、Doris、ClickHouse(至少一種,并要求有優(yōu)化經(jīng)驗(yàn))
- 數(shù)據(jù)湖表格式:Apache Paimon、Iceberg
- 軟技能:
- 高度責(zé)任心和主人翁意識,滿足業(yè)務(wù)部門對數(shù)據(jù)質(zhì)量的要求。
- 出色的問題解決能力,能對線上數(shù)據(jù)故障進(jìn)行快速響應(yīng)和恢復(fù)。
- 良好的溝通能力和團(tuán)隊協(xié)作精神,能清晰理解業(yè)務(wù)需求并將其轉(zhuǎn)化為技術(shù)方案。
- 強(qiáng)烈的求知欲和學(xué)習(xí)能力,能持續(xù)關(guān)注并學(xué)習(xí)業(yè)界新技術(shù)。