崗位職責(zé)
1:負(fù)責(zé)爬蟲策略與方案制定，爬蟲系統(tǒng)架構(gòu)設(shè)計(jì)與開發(fā)，掌握數(shù)據(jù)抓取、解析、清洗、存儲(chǔ)全流程
2:負(fù)責(zé) Web 端數(shù)據(jù)全流程管理，包括數(shù)據(jù)爬取、清洗、存儲(chǔ)入庫等環(huán)節(jié)，可獨(dú)立設(shè)計(jì)多源數(shù)據(jù)采集方案
3:參與分布式爬蟲系統(tǒng)的設(shè)計(jì)、開發(fā)與優(yōu)化，搭建數(shù)據(jù)采集調(diào)度與監(jiān)控體系
4:對(duì)爬蟲系統(tǒng)的性能、穩(wěn)定性、可擴(kuò)展性進(jìn)行優(yōu)化和改進(jìn)
5:處理爬蟲過程中的各類技術(shù)難點(diǎn)，如代理池構(gòu)建、驗(yàn)證碼識(shí)別、反爬破解等場(chǎng)景
6:實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)的進(jìn)度和警報(bào)反饋并解決警報(bào)反饋出現(xiàn)的問題
7:與產(chǎn)品、數(shù)據(jù)、后端等團(tuán)隊(duì)協(xié)同合作，完成數(shù)據(jù)需求的對(duì)接與落地任職要求
技能要求
1:編程語言：熟練掌握 Python，能使用 FastAPI 構(gòu)建后端接口；掌握逆向相關(guān)語言（如能讀懂復(fù)雜 JavaScript）
2:數(shù)據(jù)庫：熟悉 Redis、PostgreSQL、MySQL 等數(shù)據(jù)庫，具備數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)與性能優(yōu)化能力
3:抓取技術(shù)：掌握網(wǎng)頁爬取、動(dòng)態(tài)渲染（Selenium/Playwright）、API 調(diào)用等多種采集方式
4:解析工具：熟練使用 XPath、BeautifulSoup、Pandas 等工具處理結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)
5:反爬破解：精通 JS 逆向全流程技術(shù)，包括但不限于 AST 分析、代碼混淆還原、JSHook（含 JsRpc、補(bǔ)環(huán)境）等手段；熟練掌握 AES、RSA、SM2 等加密算法逆向解析，有逆向瑞數(shù)經(jīng)驗(yàn)者優(yōu)先。
6:加分項(xiàng)：有瀏覽器插件開發(fā)或應(yīng)用經(jīng)驗(yàn)者優(yōu)先
其他要求
3 年以上相關(guān)工作經(jīng)驗(yàn)，本科學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)
具備良好的溝通能力和團(tuán)隊(duì)協(xié)作精神，能高效推進(jìn)跨團(tuán)隊(duì)項(xiàng)目
有較強(qiáng)的問題解決能力和技術(shù)鉆研精神，對(duì)數(shù)據(jù)采集領(lǐng)域新技術(shù)有探索意愿