崗位概述?:
大模型測試工程師,負(fù)責(zé)對大模型及相關(guān)應(yīng)用進行全面、深入的測試工作,保障產(chǎn)品質(zhì)量。?
崗位職責(zé)?:
1、負(fù)責(zé)測試方案制定與執(zhí)行:深入剖析業(yè)務(wù)需求,精準(zhǔn)制定針對 AI 大模型及相關(guān)應(yīng)用的全面評測方案,并高效組織實施。方案涵蓋功能測試、性能測試、穩(wěn)定性測試、安全測試等多維度測試內(nèi)容,確保系統(tǒng)全方位滿足用戶需求與行業(yè)標(biāo)準(zhǔn)。?
2、負(fù)責(zé)多維度大模型自動化測試:?
- 功能測試:對大模型的各項功能進行細(xì)致驗證,包括但不限于文本生成、RAG、Agent等功能,確保模型輸出結(jié)果的準(zhǔn)確性和完整性,符合預(yù)期的功能需求。?
- 性能測試:開展性能測試工作,評估模型在不同負(fù)載下的響應(yīng)時間、吞吐量、資源利用率等性能指標(biāo),分析性能瓶頸并提出優(yōu)化建議。?
- 穩(wěn)定性測試:進行長時間的穩(wěn)定性測試,監(jiān)測模型在持續(xù)運行過程中的表現(xiàn),及時發(fā)現(xiàn)并解決可能出現(xiàn)的異常情況,確保模型具備高穩(wěn)定性。?
- 安全測試:對大模型進行安全漏洞檢測,防范潛在的安全風(fēng)險,如數(shù)據(jù)泄露、模型被攻擊等。?
3、負(fù)責(zé)線上模型監(jiān)測與支持:實時監(jiān)測線上模型的輸出質(zhì)量,建立有效的質(zhì)量評估機制,及時發(fā)現(xiàn)并反饋模型運行中的問題。?
4、負(fù)責(zé)測試結(jié)果分析與報告:深度分析評測結(jié)果,撰寫專業(yè)、詳實的測試報告。
5、負(fù)責(zé)測試方法與流程優(yōu)化:持續(xù)關(guān)注行業(yè)最新技術(shù)動態(tài),構(gòu)建和引入先進的自動化測試技術(shù),減少手工測試工作量,提升測試的準(zhǔn)確性和可靠性。?
6、協(xié)助算法工程師或開發(fā)工程師進行大模型的調(diào)優(yōu)、訓(xùn)練等。
任職要求?:
1、教育背景:本科及以上學(xué)歷,計算機科學(xué)、軟件工程、數(shù)學(xué)、統(tǒng)計學(xué)等相關(guān)專業(yè)優(yōu)先。扎實的專業(yè)知識基礎(chǔ)有助于深入理解大模型技術(shù)和測試原理。?
2、工作經(jīng)驗:3 年以上軟件測試工作經(jīng)驗,其中至少 1 年 AI 大模型測試經(jīng)驗。具備豐富的軟件測試經(jīng)驗,熟悉軟件測試流程和方法,能夠熟練運用各種測試工具。
3、專業(yè)技能:?熟練掌握 Java、Python、C++ 等至少一種編程語言,具備良好的編程習(xí)慣和代碼調(diào)試能力。能夠運用編程語言編寫測試腳本、自動化測試工具和數(shù)據(jù)分析程序,提高測試工作的效率和質(zhì)量。?
4、深入理解軟件測試設(shè)計方法,熟悉軟件編程規(guī)范和軟件缺陷管理流程,具備軟件自動化測試方案設(shè)計與實施能力。
5、有知名互聯(lián)網(wǎng)公司、人工智能企業(yè)相關(guān)工作經(jīng)驗者優(yōu)先。有 RAG 和 Agent 的測試經(jīng)驗,使用過 Ragas、Openeval、Deepeval 之類的大模型評估框架者優(yōu)先。
6、具備良好的溝通能力和團隊協(xié)作精神,能夠與算法、研發(fā)、產(chǎn)品、運營等多部門團隊進行有效的溝通和協(xié)作,共同推進項目進展。
7、具有較強的問題解決能力和分析能力,能夠快速定位和解決測試過程中發(fā)現(xiàn)的問題,提出有效的解決方案。
8、工作認(rèn)真負(fù)責(zé),有較強的責(zé)任心和質(zhì)量意識,對測試工作充滿熱情,確保測試工作的準(zhǔn)確性和完整性。