任職資格:
1.計(jì)算機(jī)、統(tǒng)計(jì)學(xué)等相關(guān)專業(yè),國(guó)家統(tǒng)招本科及以上學(xué)歷;
2.熟悉Linux操作系統(tǒng)、關(guān)系型和非關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng),熟練掌握Python、JavaScrip編程語(yǔ)言,具備扎實(shí)的數(shù)據(jù)結(jié)構(gòu)與算法基礎(chǔ);
3.熟悉主流爬蟲框架,熟練掌握ADSL 撥號(hào)代理、正則表達(dá)式、加解密處理、圖像識(shí)別破解等多種爬蟲技術(shù);
4.熟悉主流反爬蟲技術(shù)機(jī)制及其突破方案,對(duì)各類反爬手段(如賬號(hào)/IP封禁機(jī)制、各類驗(yàn)證碼、JS混淆加密、滑塊驗(yàn)證、數(shù)據(jù)混淆等)有實(shí)際解決經(jīng)驗(yàn)。
崗位職責(zé):
1.負(fù)責(zé)網(wǎng)頁(yè)及APP接口數(shù)據(jù)采集技術(shù)研發(fā),深入發(fā)掘各類網(wǎng)頁(yè)及APP接口特性與規(guī)律,研發(fā)高效、穩(wěn)定的數(shù)據(jù)采集技術(shù)方案;
2.負(fù)責(zé)爬蟲抓取策略及防屏蔽規(guī)則的設(shè)計(jì)與優(yōu)化,構(gòu)建反爬對(duì)抗組件庫(kù),提升數(shù)據(jù)采集的效率、成功率和數(shù)據(jù)質(zhì)量;
3.參與數(shù)據(jù)層建設(shè),專注于特定垂直領(lǐng)域的數(shù)據(jù)爬取工作,進(jìn)行多平臺(tái)信息的抓取、整合與分析;
4.負(fù)責(zé)智能采集系統(tǒng)的設(shè)計(jì)與開發(fā),包括但不限于采集任務(wù)調(diào)度管理、頁(yè)面智能解析與結(jié)構(gòu)化信息抽取、海量數(shù)據(jù)的存儲(chǔ)與高效讀取等核心模塊。
注:本崗位為子公司招聘,一經(jīng)錄用,將與安徽省建院數(shù)智科技有限公司簽訂勞動(dòng)合同。