崗位要求:
1、負(fù)責(zé)爬取電商平臺、內(nèi)容平臺或者短視頻方向的網(wǎng)站數(shù)據(jù),分析鏈接,轉(zhuǎn)碼等;
2、負(fù)責(zé)研究和破解各種反爬機(jī)制,優(yōu)化爬蟲性能,保障爬蟲的穩(wěn)定性和速度;
3、負(fù)責(zé)實現(xiàn)數(shù)據(jù)提取、清洗、結(jié)構(gòu)化、入庫、統(tǒng)計分析等需求;
4、負(fù)責(zé)爬蟲系統(tǒng)的架構(gòu)設(shè)計與開發(fā);
5、能獨立解決實際開發(fā)過程碰到的各類問題。
職位要求:
1、 本科及以上學(xué)歷,計算機(jī)、信息技術(shù)等相關(guān)專業(yè),具有數(shù)據(jù)挖掘、自然語言處理、信息檢索、機(jī)器學(xué)習(xí)背景者優(yōu)先;
2、 三年以上開發(fā)經(jīng)驗,熟悉Linux平臺,有大規(guī)模網(wǎng)頁爬蟲開發(fā)和分布式爬蟲架構(gòu)經(jīng)驗者經(jīng)驗優(yōu)先;
3、 熟悉主流的python爬蟲框架,如 pyspider,scrapy等;
4、了解常用反爬方式,有實際應(yīng)對措施和解決方案,包括并不限于ip限制,指紋限制,數(shù)據(jù)加密,請求參數(shù)加密等;
5、有很強(qiáng)的分析解決問題能力;
6、強(qiáng)烈的責(zé)任心和良好的團(tuán)隊合作能力"