職位描述
數(shù)據(jù)爬蟲數(shù)據(jù)埋點(diǎn)反爬蟲分布式爬蟲PythonJava云計(jì)算/大數(shù)據(jù)
崗位職責(zé)：
1. 數(shù)據(jù)采集系統(tǒng)開發(fā)：
負(fù)責(zé)設(shè)計(jì)并開發(fā)高可用、高性能的數(shù)據(jù)采集系統(tǒng)，支持多源異構(gòu)數(shù)據(jù)（網(wǎng)頁(yè)、API、數(shù)據(jù)庫(kù)、日志等）的自動(dòng)化采集與整合。
主導(dǎo)分布式爬蟲框架的設(shè)計(jì)與開發(fā)，解決復(fù)雜反爬機(jī)制（如驗(yàn)證碼、IP封禁、動(dòng)態(tài)加密等）。
利用RPA（機(jī)器人流程自動(dòng)化）技術(shù)實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的自動(dòng)化抓取及業(yè)務(wù)流程自動(dòng)化。
2.數(shù)據(jù)處理與存儲(chǔ)：
對(duì)采集的原始數(shù)據(jù)進(jìn)行清洗、去重、結(jié)構(gòu)化處理，確保數(shù)據(jù)質(zhì)量和一致性。
設(shè)計(jì)數(shù)據(jù)存儲(chǔ)方案，對(duì)接大數(shù)據(jù)存儲(chǔ)組件（如HDFS、HBase、Kafka、Elasticsearch等）。
3.技術(shù)攻堅(jiān)與優(yōu)化：
持續(xù)優(yōu)化爬蟲和RPA工具的穩(wěn)定性、效率和資源占用率，設(shè)計(jì)動(dòng)態(tài)代理池、請(qǐng)求調(diào)度策略等。
監(jiān)控?cái)?shù)據(jù)采集任務(wù)的運(yùn)行狀態(tài)，開發(fā)異常告警及自動(dòng)化恢復(fù)機(jī)制。
4.協(xié)作與支持：
與數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析團(tuán)隊(duì)協(xié)作，提供高質(zhì)量數(shù)據(jù)輸入。
參與數(shù)據(jù)中臺(tái)建設(shè)，支持業(yè)務(wù)部門的數(shù)據(jù)需求。
任職要求
1. 教育背景要求：本科及以上學(xué)歷，計(jì)算機(jī)、軟件工程、數(shù)學(xué)或相關(guān)專業(yè)。
2. 工作經(jīng)驗(yàn)要求：3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，精通數(shù)據(jù)采集相關(guān)技術(shù)，有大規(guī)模爬蟲或RPA項(xiàng)目實(shí)戰(zhàn)經(jīng)驗(yàn)。
3. 技術(shù)能力要求：
-編程語言：精通Python/Java，熟悉常用爬蟲框架（如Scrapy、Selenium、Playwright、BeautifulSoup）。
RPA工具：熟悉UiPath、Automation Anywhere、影刀等至少一種RPA工具，能獨(dú)立開發(fā)復(fù)雜自動(dòng)化流程。
數(shù)據(jù)庫(kù)：熟練使用MySQL、MongoDB、Redis等，了解分布式存儲(chǔ)原理。
分布式系統(tǒng)：熟悉Hadoop/Spark/Flink生態(tài)，具備分布式爬蟲開發(fā)經(jīng)驗(yàn)。
反爬策略：熟悉動(dòng)態(tài)渲染、指紋識(shí)別、驗(yàn)證碼破解等技術(shù)，有實(shí)際對(duì)抗經(jīng)驗(yàn)。
網(wǎng)絡(luò)協(xié)議：深入理解HTTP/HTTPS、WebSocket等協(xié)議，掌握抓包工具（如Charles、Wireshark）。
1. 數(shù)據(jù)采集系統(tǒng)開發(fā)：
負(fù)責(zé)設(shè)計(jì)并開發(fā)高可用、高性能的數(shù)據(jù)采集系統(tǒng)，支持多源異構(gòu)數(shù)據(jù)（網(wǎng)頁(yè)、API、數(shù)據(jù)庫(kù)、日志等）的自動(dòng)化采集與整合。
主導(dǎo)分布式爬蟲框架的設(shè)計(jì)與開發(fā)，解決復(fù)雜反爬機(jī)制（如驗(yàn)證碼、IP封禁、動(dòng)態(tài)加密等）。
利用RPA（機(jī)器人流程自動(dòng)化）技術(shù)實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的自動(dòng)化抓取及業(yè)務(wù)流程自動(dòng)化。
2.數(shù)據(jù)處理與存儲(chǔ)：
對(duì)采集的原始數(shù)據(jù)進(jìn)行清洗、去重、結(jié)構(gòu)化處理，確保數(shù)據(jù)質(zhì)量和一致性。
設(shè)計(jì)數(shù)據(jù)存儲(chǔ)方案，對(duì)接大數(shù)據(jù)存儲(chǔ)組件（如HDFS、HBase、Kafka、Elasticsearch等）。
3.技術(shù)攻堅(jiān)與優(yōu)化：
持續(xù)優(yōu)化爬蟲和RPA工具的穩(wěn)定性、效率和資源占用率，設(shè)計(jì)動(dòng)態(tài)代理池、請(qǐng)求調(diào)度策略等。
監(jiān)控?cái)?shù)據(jù)采集任務(wù)的運(yùn)行狀態(tài)，開發(fā)異常告警及自動(dòng)化恢復(fù)機(jī)制。
4.協(xié)作與支持：
與數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析團(tuán)隊(duì)協(xié)作，提供高質(zhì)量數(shù)據(jù)輸入。
參與數(shù)據(jù)中臺(tái)建設(shè)，支持業(yè)務(wù)部門的數(shù)據(jù)需求。
任職要求
1. 教育背景要求：本科及以上學(xué)歷，計(jì)算機(jī)、軟件工程、數(shù)學(xué)或相關(guān)專業(yè)。
2. 工作經(jīng)驗(yàn)要求：3年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，精通數(shù)據(jù)采集相關(guān)技術(shù)，有大規(guī)模爬蟲或RPA項(xiàng)目實(shí)戰(zhàn)經(jīng)驗(yàn)。
3. 技術(shù)能力要求：
-編程語言：精通Python/Java，熟悉常用爬蟲框架（如Scrapy、Selenium、Playwright、BeautifulSoup）。
RPA工具：熟悉UiPath、Automation Anywhere、影刀等至少一種RPA工具，能獨(dú)立開發(fā)復(fù)雜自動(dòng)化流程。
數(shù)據(jù)庫(kù)：熟練使用MySQL、MongoDB、Redis等，了解分布式存儲(chǔ)原理。
分布式系統(tǒng)：熟悉Hadoop/Spark/Flink生態(tài)，具備分布式爬蟲開發(fā)經(jīng)驗(yàn)。
反爬策略：熟悉動(dòng)態(tài)渲染、指紋識(shí)別、驗(yàn)證碼破解等技術(shù)，有實(shí)際對(duì)抗經(jīng)驗(yàn)。
網(wǎng)絡(luò)協(xié)議：深入理解HTTP/HTTPS、WebSocket等協(xié)議，掌握抓包工具（如Charles、Wireshark）。
工作地點(diǎn)
鄭州新密市河南逸祥衛(wèi)生科技有限公司
相似職位
- 大數(shù)據(jù)開發(fā)工程師（數(shù)據(jù)采集方向）7000-14000元
鄭州 - 新密
河南逸祥衛(wèi)生科技有限公司 - 數(shù)據(jù)處理工程師5000-10000元
鄭州 - 金水
中核勘察設(shè)計(jì)研究有限公司 - 數(shù)據(jù)采集員 單人宿舍+五險(xiǎn)+餐補(bǔ)+福利4000-6000元
鄭州 - 滎陽(yáng)
鄭州中聯(lián)收獲機(jī)械有限公司 - 地圖線下采集專員+住宿5000-8000元
鄭州 - 管城
鄭州聚萊電子科技有限公司 - 數(shù)據(jù)采集（可培訓(xùn)）1000-2000元
鄭州 - 金水
深圳中科軟科技信息系統(tǒng)有限公司 - 數(shù)據(jù)采集員 單人宿舍+五險(xiǎn)+餐補(bǔ)+福利4000-6000元
鄭州 - 滎陽(yáng)
鄭州中平電子商務(wù)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
符女士/HRBR
昨日活躍立即溝通
河南逸祥衛(wèi)生科技有限公司
河南逸祥衛(wèi)生科技有限公司成立于2017年，是一家集產(chǎn)品設(shè)計(jì)、研發(fā)、生產(chǎn)、銷售、服務(wù)為一體的專業(yè)衛(wèi)生用品公司。公司堅(jiān)持“誠(chéng)信、品質(zhì)、進(jìn)取、創(chuàng)新”的經(jīng)營(yíng)理念，把“潔凈每一個(gè)家庭”作為企業(yè)使命，“讓德佑走進(jìn)每個(gè)家庭”作為企業(yè)愿景，致力于成為中國(guó)一流的專業(yè)化、高品質(zhì)、全覆蓋的一次性衛(wèi)生用品服務(wù)企業(yè)。旗下有德佑/好安適/昭福/親情不忘等十余個(gè)品牌。主要經(jīng)營(yíng)范圍：生產(chǎn)、銷售：尿布(墊紙)隔尿墊、濕巾、衛(wèi)生濕巾、衛(wèi)生紙尿褲、孕嬰用品；研發(fā)、生產(chǎn)一次性衛(wèi)生用品，貨物及技術(shù)的進(jìn)出口業(yè)務(wù)。企業(yè)創(chuàng)造100余個(gè)用工崗位，設(shè)立有產(chǎn)品研發(fā)、生產(chǎn)、質(zhì)檢、采購(gòu)、計(jì)劃、電商平臺(tái)運(yùn)營(yíng)、企劃、設(shè)計(jì)、客服、新媒體、跨境電商外貿(mào)等幾十個(gè)團(tuán)隊(duì)，另聘請(qǐng)專業(yè)的顧問團(tuán)隊(duì)。近五年來，公司建立了品牌電商全覆蓋體系，先后入駐天貓、京東、拼多多、抖音、快手、唯品會(huì)等十余個(gè)國(guó)內(nèi)電商新媒體平臺(tái)，同時(shí)入駐阿里巴巴國(guó)際站、亞馬遜、 LAZADA等多個(gè)國(guó)際電商銷售平臺(tái)。2020年，德佑品牌在天貓平臺(tái)以優(yōu)異的業(yè)績(jī)和服務(wù)質(zhì)量躋身SKA商家行列。在母嬰行業(yè)觀察及母嬰研究院共同發(fā)布的《2020嬰兒濕巾品牌TOP20權(quán)勢(shì)榜》中，德佑品牌排名第六。企業(yè)產(chǎn)品出口100多個(gè)國(guó)家與地區(qū)，線下與知名品牌張仲景、巴奴、世紀(jì)聯(lián)華等企業(yè)深度合作。線上承接京東京造、可孚等品牌OM代工合作。公司建設(shè)年產(chǎn)284億片衛(wèi)生用品項(xiàng)目，配套車間、倉(cāng)庫(kù)、辦公及輔助設(shè)施，計(jì)劃建筑面積20萬平方米。目前，公司擁有三十多條高性能的產(chǎn)品生產(chǎn)線，擁有企業(yè)數(shù)據(jù)中心、U8、聚水潭、客戶管理CRM生意經(jīng)、生意參謀、管家婆等系統(tǒng)，生產(chǎn)制造智能化與經(jīng)營(yíng)管理信息化水平國(guó)內(nèi)領(lǐng)先。企業(yè)先后獲得多項(xiàng)專利證書，產(chǎn)品市場(chǎng)遍布全國(guó)，并逐步走向國(guó)際市場(chǎng)。企業(yè)創(chuàng)始人楊自強(qiáng)先生，專注行業(yè)研究20余年，以工匠精神通過口碑沉淀打造岀德佑品牌，以“高于行業(yè)、優(yōu)于行業(yè)”的嚴(yán)苛標(biāo)準(zhǔn)，對(duì)產(chǎn)品生產(chǎn)的每一道流程親自把關(guān)。提供了優(yōu)質(zhì)的產(chǎn)品服務(wù)和社會(huì)價(jià)值。
公司主頁(yè)