備注:基于業(yè)務(wù)發(fā)展需要,公司現(xiàn)行工作時間為:上午8:30--下午18:00,中午休息兩小時,單休狀態(tài)(國家法定假日正常休息),介意勿投,謝謝理解
崗位職責
1、電商平臺數(shù)據(jù)爬取
(1)負責設(shè)計分布式爬蟲系統(tǒng),采集抖、快、拼等電商平臺的商品信息(訂單信息、店鋪信息、評論等);
(2)應(yīng)對反爬機制(IP封鎖、驗證碼、動態(tài)加載),使用代理IP、Selenium模擬瀏覽器等技術(shù)突破限制;
(3)優(yōu)化爬蟲性能,包括并行化爬取、數(shù)據(jù)去重、異步IO等技術(shù)提升效率
數(shù)據(jù)清洗與存儲:通過正則表達式/XPath解析數(shù)據(jù),存MySQL/MongoDB等數(shù)據(jù)庫;
2、參與自動化系統(tǒng)(如訂貨單生成、報表統(tǒng)計),結(jié)合爬蟲與業(yè)務(wù)需求提升效率;
3、維護爬蟲服務(wù)器,監(jiān)控任務(wù)調(diào)度與報警反饋,確保系統(tǒng)穩(wěn)定性
4、具備數(shù)據(jù)挖掘經(jīng)驗,能構(gòu)建用戶行為分析或個性化推薦系統(tǒng)優(yōu)先考慮
任職要求
1、技術(shù)能力
(1)精通Python開發(fā),熟悉Scrapy、Requests、Selenium等爬蟲框架;
(2)掌握HTML/CSS/JS解析技術(shù)(XPath、正則表達式、Beautiful Soup);
(3)熟悉數(shù)據(jù)庫優(yōu)化(MySQL、MongoDB)及分布式存儲原理;
(4)了解HTTP協(xié)議、抓包工具(Fiddler、Charles)及逆向工程(JS解密);
2、經(jīng)驗要求
(1)5年以上Python開發(fā)經(jīng)驗,2年以上數(shù)據(jù)爬取實戰(zhàn)經(jīng)驗
3、軟性要求
(1)計算機相關(guān)專業(yè)本科及以上學歷
(2)良好的編碼規(guī)范,能獨立解決問題并優(yōu)化系統(tǒng)性能
(3)適應(yīng)高強度工作,具備團隊協(xié)作與跨部門溝通能力