職位描述:
1、分布式采集系統(tǒng)的開發(fā),參與采集系統(tǒng)存儲,傳輸,調(diào)度,監(jiān)控的設(shè)計與研發(fā);
2、對JS逆向與APP逆向有一定的了解,能夠及時解決常見的逆向問題;
3、研究采集策略和防屏蔽規(guī)則,解決算法還原,so層,頁面跳轉(zhuǎn)等難點(diǎn)攻克,提升網(wǎng)頁抓取的效率和質(zhì)量;
4、負(fù)責(zé)數(shù)據(jù)采集系統(tǒng)平臺的維護(hù)與更新(如抓取調(diào)度,多樣化抓取,頁面解析和結(jié)構(gòu)化抽取)、技術(shù)選型;
任職要求
1. 統(tǒng)招本科及以上學(xué)歷,計算機(jī)等相關(guān)專業(yè),具備Python或Java開發(fā)經(jīng)驗(yàn);
2. 熟悉自動化測試框架,如appnium,selenium等;
3. 熟悉爬蟲及反爬原理和逆向分析,熟悉常用技術(shù)框架(如Scrapy、Pyspider、RPA等)
4、熟悉JS逆向以及app逆向、熟悉各種通用加密算法、掌握各種常用逆向工具;
5、有一定應(yīng)對數(shù)據(jù)采集限制的經(jīng)驗(yàn),有一定的app逆向經(jīng)驗(yàn)者優(yōu)先;
6、熟練掌握kafka、mongodb、mysql、redis等, 了解分布式,有分布式爬蟲開發(fā)經(jīng)歷更佳