統(tǒng)招大專3年以上工作經(jīng)驗(yàn)以上,有主導(dǎo)數(shù)據(jù)工具鏈研發(fā)經(jīng)驗(yàn)
崗位職責(zé)
主導(dǎo)數(shù)據(jù)工具鏈研發(fā),覆蓋以下方向:
1、數(shù)據(jù)平臺(tái):
1.1、ETL開(kāi)發(fā):設(shè)計(jì)并實(shí)現(xiàn)高效數(shù)據(jù)抽取、轉(zhuǎn)換、加載流程,支撐海量數(shù)據(jù)清洗與集成。
1.2、數(shù)據(jù)湖倉(cāng)構(gòu)建:基于 Iceberg/Hudi 等表格式管理數(shù)據(jù)資產(chǎn),優(yōu)化存儲(chǔ)與查詢性能。
1.3、API/SDK服務(wù):開(kāi)發(fā)數(shù)據(jù)訪問(wèn)接口與工具包,提供標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)能力。
1.4、標(biāo)注平臺(tái)、訓(xùn)練平臺(tái)、評(píng)測(cè)平臺(tái)職責(zé)與原圖完全一致(略)。
2、優(yōu)化系統(tǒng)架構(gòu),重點(diǎn)保障數(shù)據(jù)管道穩(wěn)定性與服務(wù)高可用性。
任職要求
1、學(xué)歷背景:統(tǒng)專及以上計(jì)算機(jī)/電子工程/數(shù)學(xué)等相關(guān)專業(yè)。
2、技術(shù)能力(關(guān)鍵新增項(xiàng)):
2.1、ETL專項(xiàng)能力:
精通分布式ETL開(kāi)發(fā)(Spark/Flink),具備任務(wù)調(diào)度、容錯(cuò)與性能優(yōu)化經(jīng)驗(yàn)。
掌握數(shù)據(jù)建模,能獨(dú)立設(shè)計(jì)業(yè)務(wù)表結(jié)構(gòu)。
2.2、數(shù)據(jù)湖倉(cāng)與表管理:
熟練使用 Iceberg/Hudi/Delta Lake 等表格式,實(shí)現(xiàn)ACID事務(wù)與版本管理。
熟悉數(shù)據(jù)湖分層架構(gòu)。