職位描述:
1、負(fù)責(zé)通用多模態(tài)大模型(包括十億、百億參數(shù)量)的設(shè)計(jì)、開(kāi)發(fā)和優(yōu)化,包括但不限于預(yù)訓(xùn)練、跨模態(tài)信息對(duì)齊方法探索、SFT、指令微調(diào)、RLHF、Prompt工程、模型評(píng)估、模型推理等;
2、負(fù)責(zé)大規(guī)模、多模態(tài)數(shù)據(jù)的獲取,清洗和質(zhì)量控制,保障數(shù)據(jù)質(zhì)量和有效性;
3、緊跟業(yè)界大模型、多模態(tài)/語(yǔ)言等方向進(jìn)展,探密前沿技術(shù),形成系列算法/大模型解決方案,完成算法團(tuán)隊(duì)研發(fā)落地工作,推動(dòng)多模態(tài)大模型效果達(dá)到行業(yè)領(lǐng)先。
任職要求:
1、碩士及以上優(yōu)先,代碼能力極強(qiáng)者放寬要求;計(jì)算機(jī)科學(xué),軟件專業(yè);
2、精通Transformer、Bert、ViT等深度學(xué)習(xí)理論算法和優(yōu)化;
3、對(duì)多模態(tài)大模型訓(xùn)練范式等有深入理解和實(shí)踐,有多機(jī)多卡大模型訓(xùn)練/大模型微調(diào)/從0到1構(gòu)建多模態(tài)大模型(百億參數(shù)以上)等經(jīng)驗(yàn)者優(yōu)先;
4、對(duì)大模型和生成式AI有濃厚的興趣,對(duì)至少一項(xiàng)生成式模型的原埋與應(yīng)用具有深入了解,如GPT4V、LLaVa、MiniGPT4、Stable Difusion、CogVLM、DALL-E等;
5、精通一種或多種編程語(yǔ)言,如python、C語(yǔ)言等,熟練握主流深度學(xué)習(xí)框架Pytorch、Tensorflow等;熟悉Linux系統(tǒng),了解分布式訓(xùn)練框架,如Deepspeed和Meatron-LM等,并有一定的多機(jī)多卡分布式訓(xùn)練經(jīng)驗(yàn);
6、具有部署經(jīng)驗(yàn),有模型壓縮經(jīng)驗(yàn)以及端側(cè)部署經(jīng)驗(yàn)優(yōu)先;
7、具備較強(qiáng)的團(tuán)隊(duì)協(xié)作能力和溝通能力,有較強(qiáng)的學(xué)習(xí)能力和業(yè)務(wù)分析及問(wèn)題解決能力;
8、發(fā)表過(guò)大模型相關(guān)研究AI頂會(huì)論文優(yōu)先;具有影響力競(jìng)賽,如CVPR,Kaggle,排名靠前成績(jī)優(yōu)先。