用工形式:人力服務(wù)外包
崗位要求:
1、負(fù)責(zé)構(gòu)建和完善大模型的評測基準(zhǔn),設(shè)計評測維度和方法,并跟蹤業(yè)界前沿技術(shù)保持評測體系的先進性;
2、開發(fā)和維護自動化評測框架與工具鏈,提升模型迭代效率;
3、執(zhí)行模型評測并深入分析結(jié)果,通過量化分析定位模型能力的短板和瓶頸,撰寫評測報告,為微調(diào)團隊提供改進建議,推動模型能力提升。
崗位職責(zé):
1. 具有良好的溝通協(xié)調(diào)能力、邏輯思維能力和學(xué)習(xí)能力;
2、2年以上工作經(jīng)驗,熟練掌握Python編程及PyTorch等深度學(xué)習(xí)框架;
3、了解大模型基本原理和評測方法,能夠獨立構(gòu)建評測集,設(shè)計科學(xué)的評測方案。