職位描述
1. 數(shù)據(jù)工程流程設(shè)計(jì)與落地:參與數(shù)據(jù)采集、清洗、轉(zhuǎn)換、存儲的全流程工程化設(shè)計(jì),搭建自動化數(shù)據(jù)處理鏈路,支撐大模型訓(xùn)練數(shù)據(jù)、知識圖譜基礎(chǔ)數(shù)據(jù)的高效供給;
2. 數(shù)據(jù)服務(wù)與工具開發(fā):負(fù)責(zé)或協(xié)助開發(fā)數(shù)據(jù)工程相關(guān)的后臺服務(wù)、API 接口(如數(shù)據(jù)同步服務(wù)、數(shù)據(jù)查詢接口),以及工程化工具(如數(shù)據(jù)質(zhì)量校驗(yàn)工具、流程監(jiān)控工具),提升數(shù)據(jù)處理的標(biāo)準(zhǔn)化與自動化水平;
3. 數(shù)據(jù)架構(gòu)與性能優(yōu)化:參與數(shù)據(jù)存儲架構(gòu)(如數(shù)據(jù)倉庫、數(shù)據(jù)湖、文件系統(tǒng))的搭建與維護(hù),基于業(yè)務(wù)需求優(yōu)化數(shù)據(jù)流轉(zhuǎn)效率,解決數(shù)據(jù)工程中的性能瓶頸;
4. 數(shù)據(jù)工程文檔與運(yùn)維:編寫數(shù)據(jù)工程流程文檔、技術(shù)設(shè)計(jì)文檔,記錄數(shù)據(jù)鏈路邏輯與接口規(guī)范;配合執(zhí)行日常運(yùn)維,排查數(shù)據(jù)工程鏈路中的異常問題,保障流程穩(wěn)定運(yùn)行。
職位要求
(一)學(xué)歷與經(jīng)驗(yàn)
- 學(xué)歷要求:計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷;
- 經(jīng)驗(yàn)要求:具備 1 年以上數(shù)據(jù)工程或后端開發(fā)相關(guān)工作經(jīng)驗(yàn),有數(shù)據(jù)鏈路搭建、工程化落地經(jīng)驗(yàn)者優(yōu)先。
(二)技能要求
- 編程語言:熟練掌握 Python、Java、Go 中的至少一門編程語言,擁有良好的編程習(xí)慣與代碼規(guī)范意識,能獨(dú)立完成工程化代碼開發(fā);
- 數(shù)據(jù)庫能力:熟練使用 SQL 語言,具備關(guān)系型數(shù)據(jù)庫(MySQL)、緩存數(shù)據(jù)庫(Redis)的操作與性能優(yōu)化經(jīng)驗(yàn),了解數(shù)據(jù)存儲選型邏輯;
- 框架與協(xié)議:了解 Spring Boot、Django、Gin 等后端開發(fā)框架,熟悉 HTTP、TCP/IP 等網(wǎng)絡(luò)協(xié)議,能基于框架快速開發(fā)數(shù)據(jù)相關(guān)服務(wù)。
- 工程化認(rèn)知:對數(shù)據(jù)倉庫建模、ETL/ELT 工程化流程有基本理解,了解數(shù)據(jù)工程中數(shù)據(jù)質(zhì)量保障、容錯(cuò)處理的常用方法。
(三)加分項(xiàng)
- 具備數(shù)據(jù)工程平臺開發(fā)、大數(shù)據(jù)組件二次開發(fā)經(jīng)驗(yàn);
- 參與過大模型訓(xùn)練數(shù)據(jù)工程、知識圖譜數(shù)據(jù)架構(gòu)相關(guān)項(xiàng)目。
(四)軟技能
- 溝通協(xié)作:具備良好的溝通能力與團(tuán)隊(duì)協(xié)作精神,能清晰同步數(shù)據(jù)工程進(jìn)展與問題,配合核心團(tuán)隊(duì)推進(jìn)落地;
- 執(zhí)行與攻堅(jiān):有強(qiáng)烈的責(zé)任心,能快速理解數(shù)據(jù)工程需求,面對鏈路異常、性能問題時(shí)具備一定的排查與解決能力。