崗位職責:
1、負責網絡爬蟲系統(tǒng)平臺的架構設計與開發(fā),完善和重構現(xiàn)有采集系統(tǒng)及服務(如抓取調度,多樣化抓取,頁面解析和結構化抽取
2、研究爬蟲策略和防屏蔽規(guī)則,解決封賬號、封IP、驗證碼、頁面跳轉等難點,提升網頁抓取的效率和質量
3、負責后臺爬蟲數(shù)據的分布式存儲設計以及代碼實現(xiàn);
崗位要求:
1、 計算機科學相關專業(yè)本科及以上學歷;5年以上Python開發(fā)經驗,1年以上的爬蟲技術開發(fā)經驗。
2、熟悉使用Python編程語言并熟練掌握MySQL、Redis等數(shù)據庫的使用
3、熟悉linux、https協(xié)議、精通python語言,熟悉主流的開發(fā)框架
4、熟練使用requests包、xpath、正則
5、能獨立解決實際開發(fā)過程碰到的各類疑難雜癥
加分項:
了解相關 APP 逆向技術、js 逆向和反編譯等逆向工程能力。
有電力系統(tǒng)相關工作經驗優(yōu)先;
有過電力交易輔助系統(tǒng)相關項目經驗優(yōu)先