職位描述
1. 配合算法完成人文社科大模型多領(lǐng)域?qū)W科數(shù)據(jù)工作流開發(fā)。
2. 配合人文社科專家和產(chǎn)品,實(shí)現(xiàn)考古、歷史、古籍古文字、歷史地理學(xué)等領(lǐng)域Agent應(yīng)用的搭建。
職位要求
1. 四年以上爬蟲開發(fā)經(jīng)驗(yàn),能夠獨(dú)立完成中小型爬蟲項(xiàng)目的開發(fā),包括需求分析、方案設(shè)計(jì)和代碼實(shí)現(xiàn)。
2. 熟練掌握 Python 爬蟲技術(shù),能夠根據(jù)不同的網(wǎng)頁結(jié)構(gòu)和反爬策略選擇合適的爬蟲方法和工具,如正則表達(dá)式匹配、XPath 解析等。
3. 能夠搭建和維護(hù)簡單的代理池、User - Agent 池,具備一定的反爬應(yīng)對能力,解決常見的反爬問題。
4. 熟悉數(shù)據(jù)庫操作,能夠?qū)⑴廊〉降臄?shù)據(jù)準(zhǔn)確存儲到數(shù)據(jù)庫中,并進(jìn)行簡單的查詢和處理。
5. 能夠編寫清晰、可維護(hù)的代碼,進(jìn)行代碼審查和優(yōu)化,對團(tuán)隊(duì)內(nèi)的初級開發(fā)人員進(jìn)行技術(shù)指導(dǎo)。
加分項(xiàng):
1. 熟悉K8S,Docker配置和操作。
2. 熟悉前端開發(fā)框架,有web開發(fā)經(jīng)驗(yàn)。
3. 有RAG、Multi-Agent等大模型應(yīng)用開發(fā)經(jīng)驗(yàn)。
4. 了解pytorch、onnx、tensorflow等框架,能夠使用常用算法模型進(jìn)行推理調(diào)用。