崗位優(yōu)勢(shì):
薪資可談,晉升空間大,各項(xiàng)福利待遇好,公司氛圍好,有發(fā)展前景
崗位職責(zé)
1、完成公司軟件產(chǎn)品的開(kāi)發(fā)、調(diào)試、單元測(cè)試、維護(hù)等工作。
2、研究并優(yōu)化爬蟲(chóng)調(diào)度策略,提高抓取效率、成功率及內(nèi)容覆蓋率
3、處理反爬機(jī)制、優(yōu)化UA、IP池、動(dòng)態(tài)調(diào)度等策略
4、監(jiān)控和優(yōu)化爬蟲(chóng)集群性能,優(yōu)化異常檢測(cè),爬取策略調(diào)優(yōu)等機(jī)制
5、協(xié)助技術(shù)文檔、系統(tǒng)說(shuō)明書(shū)、用戶(hù)手冊(cè)的編輯工作。
任職要求
1.要求本科及以上學(xué)歷,計(jì)算機(jī)或相關(guān)專(zhuān)業(yè),熟悉python。
2. 2年以上的爬蟲(chóng)經(jīng)驗(yàn),能夠獨(dú)立完成開(kāi)發(fā)任務(wù)。
3.編程語(yǔ)言?:精通Python,熟悉Node.js等編程語(yǔ)言。
4.?爬蟲(chóng)框架?:熟悉掌握Scrapy、PySpider等爬蟲(chóng)框架。
5.?網(wǎng)絡(luò)協(xié)議?:熟悉HTTP、HTTPS原理,理解Cookie機(jī)制,能夠進(jìn)行請(qǐng)求抓包。
6.?數(shù)據(jù)庫(kù)?:熟悉SQL數(shù)據(jù)庫(kù)(如MySQL、PostgreSQL)和NoSQL數(shù)據(jù)庫(kù)(如Redis、MongoDB)。
7.?加分技能:熟悉反爬技術(shù)優(yōu)先:驗(yàn)證碼掌握、IP代理、JS逆向等對(duì)抗策略
8.加分技能:熟練掌握Scrapy、PySpider等爬蟲(chóng)框架,了按照業(yè)務(wù)需求制定爬蟲(chóng)框架