職位描述
反爬蟲分布式爬蟲爬蟲開發(fā)數(shù)據(jù)采集數(shù)據(jù)清洗PythonFlaskDjangoSELENIUM MYSQLMongoDB
崗位職責(zé)：
1. 負(fù)責(zé)爬蟲項目的需求分析與方案設(shè)計，針對各類目標(biāo)網(wǎng)站（如公開數(shù)據(jù)平臺、行業(yè)資訊站點(diǎn)等）制定高效、合規(guī)的爬取策略
2. 獨(dú)立完成爬蟲程序的開發(fā)、調(diào)試與優(yōu)化，熟練運(yùn)用requests、Scrapy、BeautifulSoup、Selenium等工具，解決反爬機(jī)制（如IP封鎖、驗證碼、動態(tài)加載）問題
3. 負(fù)責(zé)爬取數(shù)據(jù)的清洗、解析、存儲（如MySQL、MongoDB）及質(zhì)量校驗，確保數(shù)據(jù)的準(zhǔn)確性、完整性和時效性
4. 維護(hù)現(xiàn)有爬蟲系統(tǒng)的穩(wěn)定運(yùn)行，監(jiān)控數(shù)據(jù)抓取狀態(tài)，及時處理異常情況（如網(wǎng)站結(jié)構(gòu)變更、爬取效率下降）并迭代優(yōu)化
5. 與數(shù)據(jù)分析師、產(chǎn)品經(jīng)理等協(xié)作，根據(jù)業(yè)務(wù)需求輸出標(biāo)準(zhǔn)化數(shù)據(jù)成果，支撐業(yè)務(wù)決策與產(chǎn)品迭代。
2. 獨(dú)立完成爬蟲程序的開發(fā)、調(diào)試與優(yōu)化，熟練運(yùn)用requests、Scrapy、BeautifulSoup、Selenium等工具，解決反爬機(jī)制（如IP封鎖、驗證碼、動態(tài)加載）問題
3. 負(fù)責(zé)爬取數(shù)據(jù)的清洗、解析、存儲（如MySQL、MongoDB）及質(zhì)量校驗，確保數(shù)據(jù)的準(zhǔn)確性、完整性和時效性
4. 維護(hù)現(xiàn)有爬蟲系統(tǒng)的穩(wěn)定運(yùn)行，監(jiān)控數(shù)據(jù)抓取狀態(tài)，及時處理異常情況（如網(wǎng)站結(jié)構(gòu)變更、爬取效率下降）并迭代優(yōu)化
5. 與數(shù)據(jù)分析師、產(chǎn)品經(jīng)理等協(xié)作，根據(jù)業(yè)務(wù)需求輸出標(biāo)準(zhǔn)化數(shù)據(jù)成果，支撐業(yè)務(wù)決策與產(chǎn)品迭代。
崗位要求：
1. 本科及以上學(xué)歷，計算機(jī)、軟件工程、數(shù)據(jù)科學(xué)等相關(guān)專業(yè)優(yōu)先，3-5年P(guān)ython爬蟲開發(fā)經(jīng)驗，有大規(guī)模分布式爬蟲、高并發(fā)數(shù)據(jù)抓取項目經(jīng)驗者優(yōu)先
2. 精通Python語言基礎(chǔ)，熟練掌握爬蟲核心庫（requests、Scrapy、lxml、PyQuery）及異步爬蟲技術(shù)（aiohttp、asyncio）
3. 熟悉常見反爬手段（UA偽裝、Cookie池、IP代理池、滑塊驗證識別），能獨(dú)立設(shè)計應(yīng)對方案
4. 掌握HTML/CSS/JavaScript解析，能處理動態(tài)渲染頁面（如Selenium、Playwright、Pyppeteer）
5. 熟練使用至少一種數(shù)據(jù)庫（MySQL/MongoDB/Redis），具備數(shù)據(jù)清洗、格式轉(zhuǎn)換及批量處理能力
2. 精通Python語言基礎(chǔ)，熟練掌握爬蟲核心庫（requests、Scrapy、lxml、PyQuery）及異步爬蟲技術(shù)（aiohttp、asyncio）
3. 熟悉常見反爬手段（UA偽裝、Cookie池、IP代理池、滑塊驗證識別），能獨(dú)立設(shè)計應(yīng)對方案
4. 掌握HTML/CSS/JavaScript解析，能處理動態(tài)渲染頁面（如Selenium、Playwright、Pyppeteer）
5. 熟練使用至少一種數(shù)據(jù)庫（MySQL/MongoDB/Redis），具備數(shù)據(jù)清洗、格式轉(zhuǎn)換及批量處理能力
工作地點(diǎn)
濟(jì)南歷城區(qū)漢浴金谷A4-3-10層
相似職位
- python爬蟲工程師7000-11000元
濟(jì)南 - 歷下
煙臺富美特信息科技股份有限公司 - python爬蟲工程師1-1.5萬
濟(jì)南 - 歷下
山東辰華科技信息有限公司 - python爬蟲工程師+rpa+ai1-1.5萬
濟(jì)南 - 歷下
濟(jì)南聚財跨境電子商務(wù)有限公司 - Python開發(fā)工程師（爬蟲方向）（雙休+五險一金）7000-12000元
濟(jì)南 - 歷城
濟(jì)南職伴互聯(lián)網(wǎng)有限公司 - python爬蟲工程師7000-13000元
濟(jì)南 - 歷下
山東辰華科技信息有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
謝女士/HR
今日活躍立即溝通
濟(jì)南職伴互聯(lián)網(wǎng)有限公司濟(jì)南職伴互聯(lián)網(wǎng)有限公司是一家專業(yè)從事互聯(lián)網(wǎng)信息服務(wù)、軟件開發(fā)與銷售、信息技術(shù)領(lǐng)域內(nèi)的技術(shù)開發(fā)、技術(shù)服務(wù)、技術(shù)咨詢，技術(shù)轉(zhuǎn)讓等、擁有一批長期專業(yè)從事軟件開發(fā)、軟件定制的專業(yè)人才，具有雄厚的經(jīng)濟(jì)實力，全方位滿足市場信息化需求。公司尊崇“以人為本”的經(jīng)營理念，力求“小而美”。公司主營業(yè)務(wù)：互聯(lián)網(wǎng)信息服務(wù)、軟件開發(fā)與銷售、網(wǎng)絡(luò)技術(shù)、信息技術(shù)鄰域內(nèi)技術(shù)開發(fā)、技術(shù)服務(wù)、技術(shù)咨詢、技術(shù)轉(zhuǎn)讓等等。公司管理團(tuán)隊均畢業(yè)于國內(nèi)本科院校，擁有多年在國內(nèi)外知名企業(yè)工作經(jīng)驗，具備良好專業(yè)素質(zhì)，核心技術(shù)人員一直專注軟件開發(fā)行業(yè)，具有豐富經(jīng)驗。公司非常重視人才培養(yǎng)，通過培訓(xùn)、實戰(zhàn)、交流等方式促進(jìn)員工發(fā)展，實現(xiàn)公司及員工的共同進(jìn)步。加入職伴，夢想起航！
公司主頁