崗位職責(zé):
1. 數(shù)據(jù)工程流程設(shè)計(jì)與落地:參與數(shù)據(jù)采集、清洗、轉(zhuǎn)換、存儲(chǔ)的全流程工程化設(shè)計(jì),搭建自動(dòng)化數(shù)據(jù)處理鏈路,支撐大模型訓(xùn)練數(shù)據(jù)、知識(shí)圖譜基礎(chǔ)數(shù)據(jù)的高效供給;
2. 數(shù)據(jù)服務(wù)與工具開(kāi)發(fā):負(fù)責(zé)或協(xié)助開(kāi)發(fā)數(shù)據(jù)工程相關(guān)的后臺(tái)服務(wù)、API 接口(如數(shù)據(jù)同步服務(wù)、數(shù)據(jù)查詢接口),以及工程化工具(如數(shù)據(jù)質(zhì)量校驗(yàn)工具、流程監(jiān)控工具),提升數(shù)據(jù)處理的標(biāo)準(zhǔn)化與自動(dòng)化水平;
3. 數(shù)據(jù)架構(gòu)與性能優(yōu)化:參與數(shù)據(jù)存儲(chǔ)架構(gòu)(如數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、文件系統(tǒng))的搭建與維護(hù),基于業(yè)務(wù)需求優(yōu)化數(shù)據(jù)流轉(zhuǎn)效率,解決數(shù)據(jù)工程中的性能瓶頸;
4. 數(shù)據(jù)工程文檔與運(yùn)維:編寫數(shù)據(jù)工程流程文檔、技術(shù)設(shè)計(jì)文檔,記錄數(shù)據(jù)鏈路邏輯與接口規(guī)范;配合執(zhí)行日常運(yùn)維,排查數(shù)據(jù)工程鏈路中的異常問(wèn)題,保障流程穩(wěn)定運(yùn)行。
任職要求:
(一)學(xué)歷與經(jīng)驗(yàn)
- 學(xué)歷要求:計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷;
- 經(jīng)驗(yàn)要求:具備 1 年以上數(shù)據(jù)工程或后端開(kāi)發(fā)相關(guān)工作經(jīng)驗(yàn),有數(shù)據(jù)鏈路搭建、工程化落地經(jīng)驗(yàn)者優(yōu)先。
(二)技能要求
- 編程語(yǔ)言:熟練掌握 Python、Java、Go 中的至少一門編程語(yǔ)言,擁有良好的編程習(xí)慣與代碼規(guī)范意識(shí),能獨(dú)立完成工程化代碼開(kāi)發(fā);
- 數(shù)據(jù)庫(kù)能力:熟練使用 SQL 語(yǔ)言,具備關(guān)系型數(shù)據(jù)庫(kù)(MySQL)、緩存數(shù)據(jù)庫(kù)(Redis)的操作與性能優(yōu)化經(jīng)驗(yàn),了解數(shù)據(jù)存儲(chǔ)選型邏輯;
- 框架與協(xié)議:了解 Spring Boot、Django、Gin 等后端開(kāi)發(fā)框架,熟悉 HTTP、TCP/IP 等網(wǎng)絡(luò)協(xié)議,能基于框架快速開(kāi)發(fā)數(shù)據(jù)相關(guān)服務(wù)。
- 工程化認(rèn)知:對(duì)數(shù)據(jù)倉(cāng)庫(kù)建模、ETL/ELT 工程化流程有基本理解,了解數(shù)據(jù)工程中數(shù)據(jù)質(zhì)量保障、容錯(cuò)處理的常用方法。