崗位職責(zé)
1. 負(fù)責(zé)相關(guān)各類網(wǎng)站及平臺(tái)的數(shù)據(jù)采集方案設(shè)計(jì)與開發(fā)，搭建高效、穩(wěn)定的爬蟲系統(tǒng)，確保數(shù)據(jù)采集的準(zhǔn)確性、完整性和時(shí)效性；
2. 針對(duì)目標(biāo)平臺(tái)的反爬機(jī)制（如JS加密、Token驗(yàn)證、驗(yàn)證碼、IP封禁等），進(jìn)行JS逆向分析與破解，優(yōu)化爬蟲策略，解決采集過程中的技術(shù)難題；
3. 重點(diǎn)負(fù)責(zé)相關(guān)平臺(tái)的數(shù)據(jù)采集，深入理解電力行業(yè)數(shù)據(jù)結(jié)構(gòu)與業(yè)務(wù)邏輯，保障行業(yè)數(shù)據(jù)的有效獲??；
4. 開發(fā)新的爬蟲項(xiàng)目，監(jiān)控?cái)?shù)據(jù)采集狀態(tài)，及時(shí)處理異常情況（如網(wǎng)站結(jié)構(gòu)變更、反爬升級(jí)等），確保系統(tǒng)穩(wěn)定運(yùn)行；
5. 配合項(xiàng)目需求，接受短期出差任務(wù)，可完成出差期間的現(xiàn)場工作安排。
任職要求
1. 本科及以上學(xué)歷，計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、電氣等相關(guān)專業(yè)優(yōu)先，1年以上爬蟲開發(fā)經(jīng)驗(yàn)；
2. 精通Python編程語言，熟練使用Scrapy、Requests、Feapder、Playwright等爬蟲框架及工具；熟悉HTTP/HTTPS協(xié)議、TCP/IP協(xié)議，能熟練分析請(qǐng)求頭、Cookie、Session等參數(shù)；
3. 熟練掌握J(rèn)avaScript語言，能使用Chrome DevTools、Fiddler等工具分析網(wǎng)站請(qǐng)求流程，破解JS加密、參數(shù)簽名、動(dòng)態(tài)Token等反爬措施；有過復(fù)雜網(wǎng)站（如電商、金融、能源類平臺(tái)）JS逆向經(jīng)驗(yàn)者優(yōu)先；
4. 熟悉常見的數(shù)據(jù)庫（如MySQL、MongoDB）操作，能將采集的數(shù)據(jù)高效存儲(chǔ)與管理；