工作時間:8:30-12:00;13:30-18:30,單休
工作地點(diǎn):方圓創(chuàng)世大廈B座501
崗位職責(zé)
1. 負(fù)責(zé)針對電商平臺、資訊網(wǎng)站、社交媒體等不同場景,設(shè)計并開發(fā)高效爬蟲程序,實現(xiàn)數(shù)據(jù)的精準(zhǔn)、批量抓取。
2. 應(yīng)對網(wǎng)站反爬機(jī)制(如IP限制、驗證碼、動態(tài)加載等),優(yōu)化爬蟲穩(wěn)定性,保障數(shù)據(jù)持續(xù)獲取。
3. 對爬取的原始數(shù)據(jù)進(jìn)行清洗、去重、格式轉(zhuǎn)換,提升數(shù)據(jù)可用性,并同步至數(shù)據(jù)庫(MySQL/MongoDB等)。
4. 監(jiān)控爬蟲運(yùn)行狀態(tài),及時處理異常問題,持續(xù)優(yōu)化爬蟲性能(如提速、降耗)。
5. 與產(chǎn)品、數(shù)據(jù)分析團(tuán)隊協(xié)作,明確數(shù)據(jù)需求,輸出符合業(yè)務(wù)標(biāo)準(zhǔn)的數(shù)據(jù)集。
任職要求
1. 本科及以上學(xué)歷,計算機(jī)相關(guān)專業(yè),3年以上爬蟲開發(fā)經(jīng)驗。
2. 熟練掌握Python,精通Scrapy、Requests、BeautifulSoup等爬蟲庫,會用Selenium/Playwright處理動態(tài)頁面。
3. 熟悉HTTP/HTTPS協(xié)議,能使用Fiddler/Charles抓包分析,理解Cookie、Token等驗證機(jī)制。
4. 有反爬實戰(zhàn)經(jīng)驗,比如搭建代理IP池、處理驗證碼(OCR優(yōu)先)、偽裝請求頭等。
5. 至少熟悉一種數(shù)據(jù)庫操作,了解Redis等緩存工具者優(yōu)先。
6. 懂HTML/CSS/JavaScript基礎(chǔ),會用正則表達(dá)式,具備獨(dú)立排查問題的能力。
福利待遇:
1、公司地理位置優(yōu)越,緊鄰地鐵2號線,交通便利;
2、公司擁有完善的培訓(xùn)體系和轉(zhuǎn)崗、晉升機(jī)制,可以幫助員工不斷提升多項專業(yè)技能和管理技能;
3、公司氛圍好,有微波爐、咖啡、制冰機(jī)等全天供應(yīng);
4、完善的福利:五險,享有帶薪年假、病假、婚假、產(chǎn)假等法定假期,以及豐富的節(jié)日福利、生日福利等;