垂直領(lǐng)域大模型訓(xùn)練,包括增量預(yù)訓(xùn)練、指令微調(diào)(SFT)、對(duì)齊等
1.具備基于常見(jiàn)開(kāi)源大模型(如LLaMA、Qwen等)的實(shí)際大模型訓(xùn)練項(xiàng)目經(jīng)驗(yàn);
2.計(jì)算機(jī)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、電子工程等相關(guān)專業(yè)本科及以上學(xué)歷,具備扎實(shí)的理論基礎(chǔ),3年以上工作經(jīng)驗(yàn);
3.理解 Transformer 架構(gòu)且并能用于模型設(shè)計(jì)優(yōu)化;
4.計(jì)算機(jī)基礎(chǔ)知識(shí)扎實(shí),熟悉計(jì)算機(jī)體系結(jié)構(gòu)、Linux 系統(tǒng)、常見(jiàn)數(shù)據(jù)結(jié)構(gòu)與算法;
5.熟練掌握 Python、C++ 等編程語(yǔ)言,具備良好的編程習(xí)慣和代碼規(guī)范,能高效實(shí)現(xiàn)算法邏輯;
6.具備良好的學(xué)習(xí)能力和學(xué)習(xí)態(tài)度,敢于探索未知技術(shù),具備良好自驅(qū)力和團(tuán)隊(duì)合作精神,積極工作。