国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

更新于 7月3日

爬蟲工程師

8000-13000元
  • 成都郫都區(qū)
  • 1-3年
  • 本科
  • 全職
  • 招1人

職位描述

數(shù)據(jù)采集數(shù)據(jù)清洗PythonScrapyrequests
工作職責(zé): 1. 負責(zé)設(shè)計和搭建高效的分布式爬蟲系統(tǒng); 2. 開發(fā)、維護爬蟲系統(tǒng),包括調(diào)度、抓取、維護、驗證等爬蟲工作; 3. 對不同網(wǎng)站的防御機制和反爬蟲策略進行深入研究,提煉關(guān)鍵技術(shù)點。 4. 能夠解決協(xié)議反爬、風(fēng)控、人機識別等高級問題。 5. 負責(zé)爬蟲技術(shù)難點的攻克; 任職要求: 1. 對Python和計算機網(wǎng)絡(luò)有深入理解,能夠熟練運用多線程技術(shù),掌握主流爬中框架; 2. 精通JavaScript逆向工程、虛擬機、代碼混淆、抽象語法樹(AST)等技術(shù),并有實際的JavaScript逆向和分析; 3. 熟悉常見反爬機制,驗證碼識別,IP代理池應(yīng)用lp池、headers認證和cookie等; 4. 能夠分析網(wǎng)絡(luò)鏈路,并處理TLS/HTTP2等協(xié)議流量識別、IP識別問題; 5. 了解基本的機器學(xué)習(xí)算法,可解決一些基礎(chǔ)的圖像驗證碼識別、人機對抗等問題; 6. 熟悉Redis、MySQL、MongoDB等數(shù)據(jù)庫技術(shù),并有SQL或NOSQL數(shù)據(jù)庫實踐經(jīng)驗; 7. 熟悉wireshark tcpdump等進行流量分析,了解大部分計算機網(wǎng)絡(luò)基本原理; 8. 了解分布式隊列、中間件等基礎(chǔ)架構(gòu)組件;

工作地點

成都市-郫都區(qū)-古楠街97號

職位發(fā)布者

田蜜/人事經(jīng)理

昨日活躍
立即溝通