職位描述:
1、利用 Coze 等智能體/工作流開發(fā)平臺、大模型 PE 工具,建設自動評估框架與流程,對模型評估進行提效;
2、發(fā)現(xiàn)人工評估提效現(xiàn)存的卡點,構想方案推動優(yōu)化,參與人工評估與自動評估數(shù)據(jù)的交叉驗證,反饋自動評估的效率及質(zhì)量;
3、根據(jù)業(yè)務目標制定評測方案、建設評估數(shù)據(jù)集,并能夠站在用戶視角和模型視角構建理想態(tài)答案并拆解考察點;
4、對模型回復效果或搜索效果進行定性和定量的評估分析,從全鏈路中拆解問題進行分析,幫助產(chǎn)研側定位問題并推動優(yōu)化。
職位要求:
1、本科以上學歷,有相關評測經(jīng)驗和 AI 產(chǎn)品經(jīng)驗優(yōu)先;
2、有較強的搜索能力,會使用大模型產(chǎn)品,善于站在用戶視角評估使用體驗,有競品分析經(jīng)驗優(yōu)先;
3、在較多垂直領域有很好的涉獵,能夠剖析領域相關問題者優(yōu)先;
4、對數(shù)據(jù)敏感且擅長數(shù)據(jù)分析,有較強的文字理解及歸納能力者優(yōu)先;
5、做事細心,較強的溝通協(xié)作能力、執(zhí)行力、復盤思考以及抗壓能力。