崗位要求:
1.負(fù)責(zé)設(shè)計(jì)開(kāi)發(fā)爬蟲(chóng)系統(tǒng)以及優(yōu)化爬蟲(chóng)策略,進(jìn)行多平臺(tái)信息的抓取和分析
2.設(shè)計(jì)爬蟲(chóng)策略和防屏蔽規(guī)則,完成對(duì)復(fù)雜網(wǎng)站和APP的信息抓取
3.參與業(yè)務(wù)功能需求探討,數(shù)據(jù)分析處理落地,并提供后端接口
任職資格:
1.熟悉web、APP抓取原理及技術(shù),熟悉常用的爬蟲(chóng)網(wǎng)絡(luò)框架及重要組件;
2.至少熟悉Python、Nodejs、Go等一種編程語(yǔ)言,熟練掌握MySQL、Redis等數(shù)據(jù)庫(kù)的使用
3.了解常見(jiàn)的反爬機(jī)制,能夠破解常見(jiàn)的反爬機(jī)制
4.了解抓包技巧,突破抓包驗(yàn)證
5.具備優(yōu)秀的邏輯思維能力,對(duì)解決挑戰(zhàn)性問(wèn)題充滿(mǎn)熱情,善于分析問(wèn)題解決問(wèn)題
加分項(xiàng)(非必須):
1.了解相關(guān)APP逆向技術(shù)、js逆向和相關(guān)調(diào)試工具
2.掌握軟件加密解密知識(shí)
3.了解反爬蟲(chóng)相關(guān)技術(shù)棧
4.有機(jī)票行業(yè)相關(guān)經(jīng)驗(yàn)優(yōu)先