国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

400-885-9898
該職位已失效，看看其他機會吧
智聯(lián)APPAPP
舉報

爬蟲工程師

1-1.6萬
  • 成都武侯區(qū)
  • 3-5年
  • 大專
  • 全職
  • 招1人
查看更多相似職位

職位描述

Python反爬蟲分布式爬蟲爬蟲開發(fā)數(shù)據(jù)采集PySpiderPyppeteer
一、崗位職責：
1.負責分布式網(wǎng)絡爬蟲系統(tǒng)的架構設計與開發(fā)，建立分布式網(wǎng)絡爬蟲系統(tǒng)；
2.負責跨境平臺中海量（百萬級數(shù)據(jù)量）數(shù)據(jù)的爬取及數(shù)據(jù)比對；
3.負責其他品牌網(wǎng)站適配數(shù)據(jù)爬蟲開發(fā)及數(shù)據(jù)的全量抓??；
4.負責破解各類反爬機制，負責系統(tǒng)模擬點擊爬取工作；
5.不斷提升數(shù)據(jù)抓取系統(tǒng)的自動化水平，負責一定程度的數(shù)據(jù)分析任務；
6.定期爬蟲任務部署及數(shù)據(jù)同步。
二、任職資格：
1.大專及以上學歷，英語四級及以上，計算機相關專業(yè)；
2.熟練掌握常用的數(shù)據(jù)庫（如myql.redi等）；熟練掌握Python，了解JavaScript.等網(wǎng)頁解析相關；
3.熟練使用elenium.requet.httplib2.crapy等常用爬蟲模塊，熟悉panda等數(shù)據(jù)處理工具優(yōu)先；
4.熟悉常見反爬策略，有JavaScript反爬.抓包分析.IP封鎖等領域經(jīng)驗的優(yōu)先；
5.理解TCP/IP.HTTP.以及各類WEB登錄認證的機制；
6.有爬取電商平臺如Amazon.eBay.天貓.京東經(jīng)驗者優(yōu)先；
7.善于主動學習，責任心強，良好的溝通表達能力。
三、所需技能：
數(shù)據(jù)分析、Python、Redis、Pandas、跨境電商、MySQL、爬蟲、反爬技術、 網(wǎng)絡爬蟲技術、分布式技術、Java、大數(shù)據(jù)、構建團隊
查看全部

工作地點

成都武侯區(qū)四川小牛筑訊科技有限公司

職位發(fā)布者

閆晗/人事經(jīng)理

當前在線
立即溝通