崗位職責:
1.參與深度學習框架的代碼實現(xiàn),開發(fā)框架支持大模型訓練、微調(diào)能力,提升系統(tǒng)準確性、速度和穩(wěn)定性;
2.持續(xù)擴充核心框架的功能和計算能力,優(yōu)化系統(tǒng)的架構(gòu)和模型設計,提升模型的性能;
3.負責大模型訓練相關(guān)技術(shù)、方案及架構(gòu)設計溝通、執(zhí)行。
任職要求:
1.本科以上學歷,兩年以上工作經(jīng)驗,碩士博士尤佳;
2.熟悉并經(jīng)歷過大模型的預訓練(Pre-training)、微調(diào)(Fine-tuning)、后訓練(Post-training)全流程;
3.熟練掌握Python編程語言,熟練使用PyTorch或TensorFlow等深度學習框架;
4.有豐富的AI項目經(jīng)驗,熟悉Transformer架構(gòu)及主流大模型,具備實際部署和優(yōu)化經(jīng)驗者優(yōu)先,熟悉unsloth、megatron、deepspeed等多種大模型訓練框架;
4.有AI大模型性能調(diào)優(yōu)經(jīng)驗,模型量化和稀疏化經(jīng)驗。