【崗位職責(zé)】
1、對(duì)指定的網(wǎng)站進(jìn)行網(wǎng)頁(yè)抓取、數(shù)據(jù)提取、破解反爬策略;
2、負(fù)責(zé)多平臺(tái)信息抽取、數(shù)據(jù)清洗、入庫(kù)、服務(wù)化等研發(fā)和優(yōu)化工作;
3、參與開發(fā)和設(shè)計(jì)分布式網(wǎng)絡(luò)爬蟲系統(tǒng),進(jìn)行信息的抓取和分析工作;
4、研究?jī)?yōu)化爬蟲算法,提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性;
5、獨(dú)立解決實(shí)際開發(fā)過(guò)程中碰到的各類產(chǎn)品數(shù)據(jù)需求和接口問(wèn)題。
【任職要求】
1、計(jì)算機(jī)相關(guān)專業(yè)??苹蛞陨蠈W(xué)歷,3年以上相關(guān)工作經(jīng)驗(yàn);
2、精通Python 語(yǔ)言,精通scrapy或者其他常見開源爬蟲框架;;
3、精通Charles等抓包工具,精通網(wǎng)頁(yè)抓取原理及技術(shù),精通正則表達(dá)式,熟練從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
4、對(duì)于常見網(wǎng)站的反爬技術(shù)如js加密混淆等有分析應(yīng)用,對(duì)于app有一定的分析經(jīng)驗(yàn);
5、精通 selenium 、DrissionPage 等自動(dòng)化抓取技術(shù);
6、熟悉破解網(wǎng)站驗(yàn)證碼、繞過(guò)機(jī)器人檢測(cè)、APP脫殼、APP逆向反編譯等技術(shù);
7、熟練使用Mysql/MongoDB/Redis者優(yōu)先;
8、責(zé)任感強(qiáng)、有較強(qiáng)的邏輯思維能力、溝通能力、抗壓能力,對(duì)解決挑戰(zhàn)性問(wèn)題充滿熱情,具有良好的團(tuán)隊(duì)合作精神和敬業(yè)精神;
9、有海外站點(diǎn)實(shí)操經(jīng)驗(yàn)者優(yōu)先;
【其它】
薪資可面談,根據(jù)能力而定。