職位描述
Python數(shù)據(jù)清洗數(shù)據(jù)采集爬蟲開發(fā)requestsScrapySelenium影刀
工作職責(zé)?
1.設(shè)計(jì)并開發(fā)高性能分布式爬蟲架構(gòu)，支持Web網(wǎng)站數(shù)據(jù)抓取。
2.建立完整的數(shù)據(jù)采集、解析、存儲(chǔ)及監(jiān)控流程，確保數(shù)據(jù)實(shí)時(shí)性、完整性與準(zhǔn)確性。
3.突破復(fù)雜反爬機(jī)制（如IP封禁、驗(yàn)證碼、JS混淆、加密算法、動(dòng)態(tài)渲染），配合反爬策略系統(tǒng)化設(shè)計(jì)。
4.對(duì)數(shù)據(jù)進(jìn)行清洗、去重、結(jié)構(gòu)化數(shù)據(jù)，對(duì)接大數(shù)據(jù)存儲(chǔ)。
5.實(shí)時(shí)監(jiān)控爬蟲運(yùn)行狀態(tài)，構(gòu)建警報(bào)反饋機(jī)制，快速響應(yīng)網(wǎng)站策略變更。
6.探索AI輔助爬蟲技術(shù)（如自動(dòng)化解析、OCR識(shí)別），推動(dòng)團(tuán)隊(duì)技術(shù)升級(jí)。
7.協(xié)同數(shù)據(jù)工程師優(yōu)化數(shù)據(jù)處理流程，支持業(yè)務(wù)端數(shù)據(jù)需求。
任職資格??
1.統(tǒng)招大專及以上學(xué)歷，計(jì)算機(jī)/數(shù)學(xué)/統(tǒng)計(jì)相關(guān)專業(yè)，1年以上爬蟲開發(fā)經(jīng)驗(yàn)。
2.精通Python，正則表達(dá)式/CSS選擇器，能處理動(dòng)態(tài)渲染頁(yè)面
3.熟練操作MySQL/MongoDB/Redis/ES，熟悉Kafka/RabbitMQ等消息隊(duì)列
4.熟練使用Scrapy/Selenium/Feapder等框架，具備高并發(fā)系統(tǒng)開發(fā)經(jīng)驗(yàn)。
5.有分布式爬蟲架構(gòu)、海外平臺(tái)（如Cloudflare防護(hù)網(wǎng)站）突破經(jīng)驗(yàn)者加分。
6.掌握J(rèn)AVA/PHP/Vue，有反爬經(jīng)驗(yàn)者優(yōu)先。???
7.強(qiáng)自驅(qū)力與問(wèn)題解決能力，能獨(dú)立攻克技術(shù)難點(diǎn)（如瑞數(shù)加密、極驗(yàn)驗(yàn)證碼）。
8.良好的團(tuán)隊(duì)協(xié)作意識(shí)，適應(yīng)快節(jié)奏迭代需求
1.設(shè)計(jì)并開發(fā)高性能分布式爬蟲架構(gòu)，支持Web網(wǎng)站數(shù)據(jù)抓取。
2.建立完整的數(shù)據(jù)采集、解析、存儲(chǔ)及監(jiān)控流程，確保數(shù)據(jù)實(shí)時(shí)性、完整性與準(zhǔn)確性。
3.突破復(fù)雜反爬機(jī)制（如IP封禁、驗(yàn)證碼、JS混淆、加密算法、動(dòng)態(tài)渲染），配合反爬策略系統(tǒng)化設(shè)計(jì)。
4.對(duì)數(shù)據(jù)進(jìn)行清洗、去重、結(jié)構(gòu)化數(shù)據(jù)，對(duì)接大數(shù)據(jù)存儲(chǔ)。
5.實(shí)時(shí)監(jiān)控爬蟲運(yùn)行狀態(tài)，構(gòu)建警報(bào)反饋機(jī)制，快速響應(yīng)網(wǎng)站策略變更。
6.探索AI輔助爬蟲技術(shù)（如自動(dòng)化解析、OCR識(shí)別），推動(dòng)團(tuán)隊(duì)技術(shù)升級(jí)。
7.協(xié)同數(shù)據(jù)工程師優(yōu)化數(shù)據(jù)處理流程，支持業(yè)務(wù)端數(shù)據(jù)需求。
任職資格??
1.統(tǒng)招大專及以上學(xué)歷，計(jì)算機(jī)/數(shù)學(xué)/統(tǒng)計(jì)相關(guān)專業(yè)，1年以上爬蟲開發(fā)經(jīng)驗(yàn)。
2.精通Python，正則表達(dá)式/CSS選擇器，能處理動(dòng)態(tài)渲染頁(yè)面
3.熟練操作MySQL/MongoDB/Redis/ES，熟悉Kafka/RabbitMQ等消息隊(duì)列
4.熟練使用Scrapy/Selenium/Feapder等框架，具備高并發(fā)系統(tǒng)開發(fā)經(jīng)驗(yàn)。
5.有分布式爬蟲架構(gòu)、海外平臺(tái)（如Cloudflare防護(hù)網(wǎng)站）突破經(jīng)驗(yàn)者加分。
6.掌握J(rèn)AVA/PHP/Vue，有反爬經(jīng)驗(yàn)者優(yōu)先。???
7.強(qiáng)自驅(qū)力與問(wèn)題解決能力，能獨(dú)立攻克技術(shù)難點(diǎn)（如瑞數(shù)加密、極驗(yàn)驗(yàn)證碼）。
8.良好的團(tuán)隊(duì)協(xié)作意識(shí)，適應(yīng)快節(jié)奏迭代需求
查看全部
工作地點(diǎn)
上海楊浦區(qū)創(chuàng)智匯3號(hào)樓6層
相似職位
- python爬蟲工程師1.7-1.8萬(wàn)
上海 - 徐匯
博彥科技承德有限公司 - python爬蟲工程師（線上一輪面試）8000-9000元
上海 - 徐匯
上海申美信息科技有限公司北京分公司 - 爬蟲面議
上海 - 浦東
中軟國(guó)際 - 高級(jí)爬蟲工程師1.8-2.2萬(wàn)
上海 - 閔行
上海現(xiàn)代通用識(shí)別技術(shù)有限公司 - 爬蟲開發(fā)1.5-2萬(wàn)
上海 - 浦東
上海同與企業(yè)管理咨詢有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
辛女士/HR
剛剛活躍立即溝通
上海畢得醫(yī)藥科技股份有限公司上海畢得醫(yī)藥科技股份有限公司（公司簡(jiǎn)稱：畢得醫(yī)藥，股票代碼：688073）自2007年創(chuàng)立以來(lái)，始終專注于醫(yī)藥中間體、化學(xué)試劑及活性小分子化合物（抑制劑及激活劑）的研發(fā)、生產(chǎn)、銷售及合成定制。目前，公司匯聚了超過(guò)1000名優(yōu)秀人才，作為業(yè)內(nèi)翹楚的上市高新技術(shù)企業(yè)，我們以科技為引擎，為全球客戶奉獻(xiàn)品質(zhì)卓越的產(chǎn)品與服務(wù)。我們的產(chǎn)品豐富多樣，涵蓋各類醫(yī)藥中間體、化學(xué)試劑及活性小分子化合物，廣泛應(yīng)用于醫(yī)藥研發(fā)、生命科學(xué)及新材料等領(lǐng)域。畢得研發(fā)中心分析實(shí)驗(yàn)室配備各種等量級(jí)實(shí)驗(yàn)反應(yīng)儀器，擁有完備齊全的尖端檢測(cè)分析設(shè)備。研發(fā)團(tuán)隊(duì)匯聚了200+高學(xué)歷、經(jīng)驗(yàn)豐富的專業(yè)人士，專注市場(chǎng)需求研發(fā)創(chuàng)新，深受客戶信賴與好評(píng)。畢得醫(yī)藥已在美國(guó)、歐洲、印度等全球新藥研發(fā)高地設(shè)立了區(qū)域中心，緊跟全球醫(yī)藥前沿研發(fā)方向，能夠快速響應(yīng)全球客戶對(duì)藥物分子砌塊和科學(xué)試劑的多樣化需求，更為員工提供了豐富的跨國(guó)工作機(jī)會(huì)。在畢得醫(yī)藥，企業(yè)文化是凝聚人心的力量之源。我們倡導(dǎo)創(chuàng)新、協(xié)作、責(zé)任和卓越的企業(yè)精神，致力于通過(guò)產(chǎn)品和研發(fā)創(chuàng)新，為全球醫(yī)藥和科研事業(yè)貢獻(xiàn)智慧與力量。加入畢得：從加入畢得的第一天起，你就會(huì)開啟一段激動(dòng)人心的旅程。我們各種富有挑戰(zhàn)性的工作崗位，以及豐富的個(gè)人發(fā)展支持： 1.完善的培訓(xùn)體系和職業(yè)晉升通道 2.廣闊的個(gè)人成長(zhǎng)空間和持續(xù)的職業(yè)發(fā)展支持 3.豐厚的福利待遇：?競(jìng)爭(zhēng)力的薪酬體系?多樣化的獎(jiǎng)勵(lì)機(jī)制?完善的社保福利?豐富的員工活動(dòng)?落戶支持如果你有夢(mèng)想、有才華、有追求，畢得醫(yī)藥誠(chéng)摯邀請(qǐng)你加入我們的行列，與我們攜手共創(chuàng)更加輝煌的未來(lái)！公司網(wǎng)址： https://www.bidepharmatech.com/ https://bldpharm.com/
公司主頁(yè)