崗位職責(zé)
1、構(gòu)建數(shù)據(jù) Pipeline、處理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)、數(shù)據(jù)治理 。
2、設(shè)計(jì)數(shù)據(jù)選擇算法、數(shù)據(jù)增強(qiáng)策略、優(yōu)化數(shù)據(jù)效率。
3、RAG 數(shù)據(jù)構(gòu)建、知識圖譜整合、數(shù)據(jù)驅(qū)動模型優(yōu)化 。
4、設(shè)計(jì)評測數(shù)據(jù)集、構(gòu)建評測體系、評估模型效果。
AI工具及專業(yè)要求：
1、編程語言：熟練使用 Python（會基礎(chǔ)語法 + 數(shù)據(jù)處理庫），了解 SQL 基礎(chǔ)查詢語句。
2、數(shù)據(jù)工具：掌握 Pandas、NumPy 進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換；了解 NLTK、spaCy 等 NLP 工具包優(yōu)先。
3、基礎(chǔ)知識：對大模型（如 GPT、LLaMA）有基本認(rèn)知，知道預(yù)訓(xùn)練、微調(diào)、標(biāo)注等核心環(huán)節(jié)的概念。
4、加分項(xiàng)：接觸過 Spark/PySpark 等大數(shù)據(jù)工具、了解 LangChain 等大模型應(yīng)用框架、有標(biāo)注平臺使用經(jīng)驗(yàn)。