爬蟲(chóng)副主任
崗位職責(zé)
1、全面負(fù)責(zé)爬蟲(chóng)團(tuán)隊(duì)管理與技術(shù)規(guī)劃，搭建高可用、高并發(fā)、可擴(kuò)展的分布式爬蟲(chóng)體系，統(tǒng)籌多平臺(tái)數(shù)據(jù)抓取、解析、清洗、入庫(kù)全流程落地與優(yōu)化。
2、主導(dǎo)爬蟲(chóng)核心技術(shù)攻關(guān)與架構(gòu)升級(jí)，研究反爬對(duì)抗、驗(yàn)證碼識(shí)別、IP 代理、請(qǐng)求指紋偽裝等技術(shù)，持續(xù)提升爬取效率、穩(wěn)定性與數(shù)據(jù)質(zhì)量。
3、對(duì)接業(yè)務(wù)需求，深度理解數(shù)據(jù)應(yīng)用場(chǎng)景，牽頭設(shè)計(jì)數(shù)據(jù)采集方案與數(shù)據(jù)價(jià)值挖掘策略，保障數(shù)據(jù)合理性、完整性、時(shí)效性，支撐業(yè)務(wù)決策。
4、負(fù)責(zé)團(tuán)隊(duì)任務(wù)分配、進(jìn)度管控、質(zhì)量驗(yàn)收與人才培養(yǎng)，規(guī)范爬蟲(chóng)開(kāi)發(fā)、運(yùn)維、迭代流程，建立技術(shù)標(biāo)準(zhǔn)與風(fēng)險(xiǎn)防控機(jī)制。
5、跟蹤前沿爬蟲(chóng)技術(shù)與合規(guī)邊界，推動(dòng)技術(shù)方案迭代與成本優(yōu)化，解決復(fù)雜業(yè)務(wù)與技術(shù)瓶頸，保障數(shù)據(jù)采集工作合法、穩(wěn)定、高效運(yùn)行。
任職要求
1、統(tǒng)招本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)，3 年及以上爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn) + 1 年及以上爬蟲(chóng)團(tuán)隊(duì)管理經(jīng)驗(yàn)，有大型分布式爬蟲(chóng)項(xiàng)目主導(dǎo)經(jīng)驗(yàn)者優(yōu)先。
2、精通 Python 開(kāi)發(fā)，具備扎實(shí)的編程與系統(tǒng)設(shè)計(jì)能力，熟練掌握 Scrapy、pyspider 等主流爬蟲(chóng)框架，有自研爬蟲(chóng)或二次開(kāi)發(fā)經(jīng)驗(yàn)。
3、深入理解爬蟲(chóng)原理與反爬機(jī)制，能獨(dú)立解決 IP 封禁、賬號(hào)風(fēng)控、動(dòng)態(tài)渲染、JS 加密、驗(yàn)證碼識(shí)別等復(fù)雜爬取問(wèn)題。
4、熟練掌握 requests、xpath、BeautifulSoup、正則等數(shù)據(jù)提取技術(shù)，熟悉 MySQL、MongoDB、Redis 等存儲(chǔ)中間件，了解 Hadoop、HBase 等大數(shù)據(jù)技術(shù)棧。
5、熟悉 Django/Flask 等 Web 框架，具備接口開(kāi)發(fā)與數(shù)據(jù)服務(wù)對(duì)接能力。
6、具備優(yōu)秀的業(yè)務(wù)理解、需求拆解與技術(shù)方案落地能力，責(zé)任心強(qiáng)，抗壓性好，具備良好的團(tuán)隊(duì)管理、溝通協(xié)調(diào)與問(wèn)題推動(dòng)能力。
7、具備數(shù)據(jù)安全與合規(guī)意識(shí)，嚴(yán)謹(jǐn)細(xì)致，有技術(shù)鉆研精神與跨部門協(xié)作經(jīng)驗(yàn)。