職位描述
SqlDjangoTornadoMySQLOracle電子商務(wù)網(wǎng)絡(luò)/信息安全
"崗位概述
1、負(fù)責(zé)設(shè)計和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)
2、研究爬蟲策略和防屏蔽規(guī)則，解決封賬號、封IP、驗證碼等難點攻克，提升數(shù)據(jù)抓取的效率和質(zhì)量
3、負(fù)責(zé)爬蟲核心算法和策略優(yōu)化，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性
4、實時監(jiān)控爬蟲任務(wù)的執(zhí)行狀況，及時處理爬蟲異常
1、負(fù)責(zé)設(shè)計和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)
2、研究爬蟲策略和防屏蔽規(guī)則，解決封賬號、封IP、驗證碼等難點攻克，提升數(shù)據(jù)抓取的效率和質(zhì)量
3、負(fù)責(zé)爬蟲核心算法和策略優(yōu)化，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性
4、實時監(jiān)控爬蟲任務(wù)的執(zhí)行狀況，及時處理爬蟲異常
要求項
教育背景要求(?？萍耙陨?
工作經(jīng)驗(3 年以上)
知識與技能(1. 有實際分布式爬蟲系統(tǒng)開發(fā)經(jīng)驗，熟悉scrapy和scrapy-redis框架及其參數(shù)調(diào)優(yōu)
2. 熟悉使用request,urllib模塊進(jìn)行源碼下載；Xpath,BeautifulSoup,Re數(shù)據(jù)提取
3. 能夠處理圖片驗證碼、滑塊驗證碼、二維碼登錄，短信驗證碼；JS反爬，APP抓取數(shù)據(jù)，多緯度獲取數(shù)據(jù)
4. 熟悉使用selenium，appium，uiautomator2，參與手機(jī)群控系統(tǒng)的規(guī)劃，設(shè)計與開發(fā)
5. 熟悉網(wǎng)絡(luò)抓包工具charles，fiddler，mitmproxy抓包分析，請求包的偽造
6. 使用flask編寫數(shù)據(jù)接口，查詢elasticsearch，mysql，mogondb數(shù)據(jù)返回前端
7. 具有hadoop，hdfs，spark，kafka，elasticsearch等大數(shù)據(jù)使用經(jīng)驗)
其他(具有淘寶、抖音、小紅書開發(fā)經(jīng)驗優(yōu)先)"
教育背景要求(?？萍耙陨?
工作經(jīng)驗(3 年以上)
知識與技能(1. 有實際分布式爬蟲系統(tǒng)開發(fā)經(jīng)驗，熟悉scrapy和scrapy-redis框架及其參數(shù)調(diào)優(yōu)
2. 熟悉使用request,urllib模塊進(jìn)行源碼下載；Xpath,BeautifulSoup,Re數(shù)據(jù)提取
3. 能夠處理圖片驗證碼、滑塊驗證碼、二維碼登錄，短信驗證碼；JS反爬，APP抓取數(shù)據(jù)，多緯度獲取數(shù)據(jù)
4. 熟悉使用selenium，appium，uiautomator2，參與手機(jī)群控系統(tǒng)的規(guī)劃，設(shè)計與開發(fā)
5. 熟悉網(wǎng)絡(luò)抓包工具charles，fiddler，mitmproxy抓包分析，請求包的偽造
6. 使用flask編寫數(shù)據(jù)接口，查詢elasticsearch，mysql，mogondb數(shù)據(jù)返回前端
7. 具有hadoop，hdfs，spark，kafka，elasticsearch等大數(shù)據(jù)使用經(jīng)驗)
其他(具有淘寶、抖音、小紅書開發(fā)經(jīng)驗優(yōu)先)"
查看全部
工作地點
佛山禪城區(qū)萬科金融中心1
相似職位
佛山 - 南海
廣州宏意星- 軟件主任工程師1.5-2.5萬·13薪
佛山 - 順德
科達(dá)制造股份有限公司 - python 開發(fā)1-1.3萬
佛山 - 順德
億達(dá)信息 - agent開發(fā)工程師1-1.6萬
佛山 - 南海
廣州南天電腦系統(tǒng)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
牟芷琪/人事經(jīng)理
立即溝通
深圳建廣數(shù)字科技有限公司青島分公司
深圳建廣數(shù)字科技有限公司是中國領(lǐng)先的傳統(tǒng)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型完整IT解決方案和端到端IT服務(wù)的提供商。公司在北京、上海、廣州、深圳、武漢、青島、大連、無錫等地均設(shè)有分支機(jī)構(gòu)。二十余年來一直在數(shù)字化轉(zhuǎn)型領(lǐng)域持續(xù)積累，致力于為客戶提供具有行業(yè)特色、覆蓋企業(yè)數(shù)字化轉(zhuǎn)型所需的整體解決方案以及相關(guān)的端到端服務(wù)。800多位專家顧問，1700多位專業(yè)服務(wù)人員，以專業(yè)精神、豐富的經(jīng)驗和出色的服務(wù)享譽(yù)業(yè)界。迄今已服務(wù)超過800多家包括財富500強(qiáng)在內(nèi)的國內(nèi)外眾多客戶，獲得廣泛贊譽(yù)。公司一直致力于助力傳統(tǒng)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型（Digital transformation），在建立數(shù)字化轉(zhuǎn)換（Digitization）、數(shù)字化升級（Digitalization）基礎(chǔ)上，進(jìn)一步賦能公司核心業(yè)務(wù)，以新建一種商業(yè)模式為目標(biāo)的高層次轉(zhuǎn)型。圍繞這一理念，公司已建立起套裝軟件及服務(wù)、數(shù)字化解決方案及服務(wù)、IT開發(fā)與外包服務(wù)三大縱深賦能體系。并滿足客戶從咨詢、技術(shù)實施到運維完整的端到端需求。
公司主頁