崗位職責(zé)：
1. 評(píng)測體系落地與迭代：主導(dǎo)公司頭部大模型產(chǎn)品的全維度評(píng)測工作，嚴(yán)格執(zhí)行評(píng)測標(biāo)準(zhǔn)，包括模型的核心能力等核心維度，輸出客觀、精準(zhǔn)的評(píng)測結(jié)果。
2. Benchmark構(gòu)建與優(yōu)化：主動(dòng)設(shè)計(jì)并生產(chǎn)高質(zhì)量評(píng)測基準(zhǔn)（benchmark），結(jié)合業(yè)務(wù)場景與模型迭代需求，持續(xù)豐富評(píng)測樣本、優(yōu)化評(píng)測指標(biāo)，確?；鶞?zhǔn)的科學(xué)性、針對性與時(shí)效性，為模型迭代提供核心參考依據(jù)。
3. 評(píng)測報(bào)告輸出與解讀：基于評(píng)測數(shù)據(jù)撰寫專業(yè)評(píng)測報(bào)告，清晰呈現(xiàn)模型優(yōu)勢、短板及優(yōu)化方向，為產(chǎn)品、算法團(tuán)隊(duì)提供可落地的決策建議；同步跟蹤報(bào)告落地效果，形成“評(píng)測-反饋-優(yōu)化”的閉環(huán)。
4. 數(shù)據(jù)供給驅(qū)動(dòng)：根據(jù)評(píng)測報(bào)告結(jié)論，精準(zhǔn)定位模型薄弱環(huán)節(jié)，制定針對性數(shù)據(jù)供給方案，主導(dǎo)高質(zhì)量訓(xùn)練/微調(diào)數(shù)據(jù)的生產(chǎn)、篩選與標(biāo)注，通過數(shù)據(jù)優(yōu)化反向提升模型核心能力。
5. 評(píng)測標(biāo)準(zhǔn)沉淀：結(jié)合行業(yè)前沿與內(nèi)部實(shí)踐，持續(xù)迭代評(píng)測方法論、指標(biāo)體系與操作流程，形成可復(fù)用的團(tuán)隊(duì)知識(shí)庫，提升整體評(píng)測效率與質(zhì)量。
任職要求：
1. 學(xué)歷背景：本科及以上學(xué)歷，軟件工程、計(jì)算機(jī)、數(shù)據(jù)科學(xué)、人工智能、統(tǒng)計(jì)學(xué)等相關(guān)專業(yè)，1年及以上大模型評(píng)測、數(shù)據(jù)研究相關(guān)工作經(jīng)驗(yàn)。
2. 核心能力：深入理解大模型技術(shù)原理，熟悉大模型評(píng)測的主流方法、指標(biāo)與工具，對大模型的核心能力等評(píng)測維度有實(shí)操經(jīng)驗(yàn)。
3. 數(shù)據(jù)能力：具備扎實(shí)的數(shù)據(jù)處理、分析與可視化能力，熟練使用Python（Pandas、NumPy等）、SQL等工具，能獨(dú)立完成評(píng)測數(shù)據(jù)的清洗、統(tǒng)計(jì)與分析。
4. 專業(yè)素養(yǎng)：具備敏銳的細(xì)節(jié)洞察力與判斷力，能精準(zhǔn)識(shí)別模型生成內(nèi)容的質(zhì)量差異（尤其是視覺taste與文本風(fēng)格）；邏輯嚴(yán)謹(jǐn)，善于梳理復(fù)雜問題，輸出結(jié)構(gòu)化報(bào)告。
5. 協(xié)作能力：具備良好的跨團(tuán)隊(duì)溝通與協(xié)作能力，推動(dòng)評(píng)測結(jié)果與數(shù)據(jù)供給方案落地；有較強(qiáng)的自驅(qū)力與主動(dòng)創(chuàng)新意識(shí)，能快速響應(yīng)業(yè)務(wù)需求。
6. 加分項(xiàng)：有頭部AI公司大模型評(píng)測、benchmark構(gòu)建經(jīng)驗(yàn)者優(yōu)先；具備圖片/文本質(zhì)量評(píng)估、數(shù)據(jù)標(biāo)注體系設(shè)計(jì)經(jīng)驗(yàn)者優(yōu)先。