崗位職責(zé):
1.負(fù)責(zé)scrapy爬蟲項(xiàng)目的運(yùn)維工作,以及數(shù)據(jù)的清洗提取工作
2.根據(jù)任務(wù)需求,開發(fā)網(wǎng)頁端或App端的數(shù)據(jù)爬取工作
3.在保證質(zhì)量的情況下可以成功交付數(shù)據(jù)
4.可以獨(dú)立解決開發(fā)中碰到的問題,并具備良好的溝通能力
崗位要求:
1.計(jì)算機(jī)科學(xué),工程或相關(guān)學(xué)科本科及以上學(xué)歷
2.熟悉Python;具有SQL和NoSQL技術(shù)的經(jīng)驗(yàn)優(yōu)先
3.熟悉網(wǎng)絡(luò)抓取原理、HTTP協(xié)議,了解常見的反爬蟲原理
4.熟練使用requests, Scrapy, BS4, xpath, regex等工具進(jìn)行數(shù)據(jù)抓取
5.熟悉數(shù)據(jù)清洗,能夠利用Pandas進(jìn)行數(shù)據(jù)處理
6.了解版本控制工具(例如git), 數(shù)據(jù)庫管理系統(tǒng)(Mysql)