職位概述
該職位參與公司現(xiàn)有大數(shù)據(jù)平臺從本地傳統(tǒng)架構(gòu)向云上現(xiàn)代化湖倉一體架構(gòu)的戰(zhàn)略遷移與升級。本崗位要求候選人不僅需深入掌握現(xiàn)有技術(shù)棧（Spark、Flink、Hadoop），還需具備保險業(yè)務(wù)數(shù)據(jù)建模經(jīng)驗，并能將復(fù)雜業(yè)務(wù)邏輯與新一代云原生數(shù)據(jù)平臺相結(jié)合，構(gòu)建高性能、可擴展、低成本的數(shù)據(jù)底座。

【核心職責(zé)】
1. 主導(dǎo)技術(shù)平臺遷移與架構(gòu)升級
l 全面評估現(xiàn)有基于 Spark、Flink、Hadoop（HDFS/YARN）的大數(shù)據(jù)平臺，參與制定向云端湖倉一體架構(gòu)遷移的整體技術(shù)方案、演進路徑與風(fēng)險管控策略。
l 負(fù)責(zé)現(xiàn)有數(shù)據(jù)處理作業(yè)（Spark/Flink任務(wù)）的優(yōu)化，確保其平滑遷移并高效運行于云上計算存儲分離的新架構(gòu)。
l 保障遷移過程中數(shù)據(jù)服務(wù)的連續(xù)性、數(shù)據(jù)的準(zhǔn)確性與一致性。

2. 設(shè)計與構(gòu)建云上湖倉一體平臺
l 基于云原生技術(shù)，設(shè)計并搭建高性能、可擴展、成本優(yōu)化的湖倉一體數(shù)據(jù)平臺，實現(xiàn)數(shù)據(jù)湖的靈活性與數(shù)據(jù)倉庫的治理能力的統(tǒng)一。
l 主導(dǎo)數(shù)據(jù)湖表格式（如Apache Iceberg/Hudi/Delta Lake）、云存儲、資源調(diào)度及元數(shù)據(jù)管理等核心技術(shù)的選型、驗證與落地實施。
3. 保險數(shù)據(jù)資產(chǎn)重構(gòu)與開發(fā)
l 深入理解人壽保險核心業(yè)務(wù)（如保單、理賠、客戶、精算等），主導(dǎo)現(xiàn)有數(shù)據(jù)模型在云上新架構(gòu)下的優(yōu)化、重構(gòu)與落地。
l 負(fù)責(zé)設(shè)計并開發(fā)主題域數(shù)據(jù)模型（如客戶全景、保單服務(wù)、風(fēng)險主題），構(gòu)建高質(zhì)量、可復(fù)用的數(shù)據(jù)公共層。
l 熟練運用SQL及Spark/Flink進行復(fù)雜業(yè)務(wù)邏輯的數(shù)據(jù)ETL開發(fā)，并對任務(wù)進行深度性能調(diào)優(yōu)。
4. 平臺優(yōu)化與穩(wěn)定性保障
l 對遷移前后的Spark、Flink作業(yè)及Hadoop集群進行深度性能診斷與調(diào)優(yōu)，解決數(shù)據(jù)傾斜、資源瓶頸等關(guān)鍵技術(shù)難題。
l 建立并完善新平臺的監(jiān)控、告警、運維及容災(zāi)恢復(fù)體系，確保平臺的高可用性與穩(wěn)定性。

【任職要求】
1. 技術(shù)棧經(jīng)驗
l 5年以上大數(shù)據(jù)開發(fā)經(jīng)驗，對 Hadoop（HDFS/YARN）、Spark、Flink具有豐富的生產(chǎn)環(huán)境開發(fā)、深度調(diào)優(yōu)及運維經(jīng)驗，理解其核心原理與生態(tài)。
2. 云遷移與湖倉一體經(jīng)驗
l 具備將基于上述技術(shù)棧的大數(shù)據(jù)平臺成功遷移至公有云（如阿里云、騰訊云、AWS等），并演進為湖倉一體架構(gòu)的完整項目實踐經(jīng)驗。
l 擁有Apache Iceberg、Hudi或Delta Lake等數(shù)據(jù)湖格式在生產(chǎn)環(huán)境中的實際應(yīng)用經(jīng)驗。

3. 業(yè)務(wù)與數(shù)據(jù)能力
l 3年以上保險行業(yè)大數(shù)據(jù)項目經(jīng)驗，熟悉人壽保險核心業(yè)務(wù)邏輯與數(shù)據(jù)模型。
l SQL專家，具備編寫和優(yōu)化復(fù)雜SQL的能力，能高效解決業(yè)務(wù)數(shù)據(jù)處理需求。
l 了解數(shù)據(jù)治理體系（數(shù)據(jù)質(zhì)量、數(shù)據(jù)血緣、數(shù)據(jù)安全）。
4. 編程能力
l 熟練掌握 Java、Scala或Python至少一門編程語言，具備扎實的編碼和系統(tǒng)問題排查能力。