崗位職責(zé):
1、負(fù)責(zé)日常采集需求,設(shè)計(jì)和開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)。
2、負(fù)責(zé)手機(jī)端App采集、各類(lèi)web端網(wǎng)頁(yè)內(nèi)容采集等。
3、解決日常封賬號(hào)、IP、過(guò)驗(yàn)證碼等風(fēng)控問(wèn)題。
4、負(fù)責(zé)原型架構(gòu)的測(cè)試與驗(yàn)證
任職要求:
1、2年及以上爬蟲(chóng)相關(guān)開(kāi)發(fā)經(jīng)驗(yàn),具備web網(wǎng)頁(yè)端、App端采集經(jīng)驗(yàn)。
2、熟練掌握Python編程語(yǔ)言及常用采集工具框架,如playwright,selenium、Scrapy、BeautifulSoup
等。
3、熟練掌握PC/Android自動(dòng)化采集技術(shù),如uiautomator,frida注入等技術(shù)。
4、熟悉風(fēng)控逆向相關(guān)技術(shù),國(guó)內(nèi)外驗(yàn)證碼破解等;熟悉TLS 指紋、逆向、混淆、JS補(bǔ)環(huán)境等技術(shù),以及各類(lèi)加密算法,譬如(AES、RSA、Base64,Md5、SHA 系列等)。
5、具有良好的溝通能力、學(xué)習(xí)能力、分析解決問(wèn)題能力,有較強(qiáng)的責(zé)任心、自驅(qū)力和成長(zhǎng)型思維;
6、有長(zhǎng)期規(guī)?;杉到y(tǒng)建設(shè)經(jīng)驗(yàn)優(yōu)先;有computer use/phone use等agent相關(guān)數(shù)據(jù)采集經(jīng)驗(yàn)優(yōu)先。