職位描述
崗位職責(zé):
1、負(fù)責(zé)大模型自動(dòng)化評(píng)測(cè)體系的建設(shè)與迭代,涵蓋評(píng)測(cè)流程設(shè)計(jì)、指標(biāo)體系制定、工具與平臺(tái)開發(fā),確保評(píng)測(cè)結(jié)果科學(xué)、穩(wěn)定、可復(fù)用;
2、基于Agent與Workflow等先進(jìn)技術(shù),搭建自動(dòng)化評(píng)測(cè)Pipeline,支持文本、多模態(tài)及AI應(yīng)用的效果評(píng)估;
3、深入研究新型大模型評(píng)測(cè)方法與技術(shù),制定科學(xué)合理的評(píng)測(cè)策略,推動(dòng)評(píng)測(cè)體系的智能化與標(biāo)準(zhǔn)化,為模型優(yōu)化提供有價(jià)值的反饋;
4、與研發(fā)團(tuán)隊(duì)緊密協(xié)作,將自動(dòng)化評(píng)測(cè)體系嵌入模型訓(xùn)練與產(chǎn)品研發(fā)流程,形成評(píng)測(cè)與優(yōu)化的閉環(huán)支持。
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、人工智能、計(jì)算語(yǔ)言學(xué)等相關(guān)專業(yè)優(yōu)先;
2、掌握Python等編程語(yǔ)言,具備PE撰寫調(diào)優(yōu)、Agent/Workflow搭建實(shí)踐經(jīng)驗(yàn)優(yōu)先;
3、具備1年以上大模型評(píng)測(cè)或相關(guān)經(jīng)驗(yàn),熟悉常見評(píng)測(cè)指標(biāo)和方法,了解自動(dòng)化評(píng)測(cè)工具或平臺(tái)的開發(fā)與應(yīng)用;
4、對(duì)大模型評(píng)測(cè)與優(yōu)化充滿熱情,關(guān)注前沿研究動(dòng)態(tài),具備快速學(xué)習(xí)與持續(xù)探索能力;
5、思路清晰,邏輯性強(qiáng),具備跨團(tuán)隊(duì)協(xié)作與溝通能力,能夠在復(fù)雜項(xiàng)目環(huán)境中獨(dú)立推進(jìn)工作優(yōu)先。