国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

400-885-9898
更新于 今天
智聯(lián)APPAPP
舉報(bào)

爬蟲開發(fā)（數(shù)據(jù)采集方向）

1.1-1.3萬(wàn)
  • 上海徐匯區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招1人

雇員點(diǎn)評(píng)標(biāo)簽

  • 工作環(huán)境好
  • 同事很nice
  • 人際關(guān)系好
  • 團(tuán)隊(duì)執(zhí)行強(qiáng)
  • 氛圍活躍
  • 免費(fèi)班車
  • 管理人性化
  • 準(zhǔn)時(shí)發(fā)工資

職位描述

PythonJavaScriptHiveHadoopScrapy人工智能計(jì)算機(jī)軟件新媒體在線教育在線音樂/視頻/閱讀
針對(duì)外文語(yǔ)料數(shù)據(jù)采集工作，目前已經(jīng)對(duì)預(yù)訓(xùn)練數(shù)據(jù)采集、全站數(shù)據(jù)采集或者文件文檔下載類的需求已經(jīng)開發(fā)了采集系統(tǒng)或者采集平臺(tái)進(jìn)行需求覆蓋。但是由于需求種類多樣還有較多類型的采集需求（定向采集，數(shù)據(jù)字段高定，目標(biāo)站點(diǎn)反爬比較嚴(yán)重等）數(shù)據(jù)系統(tǒng)與平臺(tái)無法進(jìn)行覆蓋需求，需要鋪設(shè)較多開發(fā)人員進(jìn)行單站點(diǎn)或者單需求進(jìn)行數(shù)據(jù)采集研發(fā)工作。
崗位描述
1負(fù)責(zé)大模型相關(guān)數(shù)據(jù)采集，包括不限于海內(nèi)外文本，圖片，音視頻數(shù)據(jù)；
2負(fù)責(zé)對(duì)目標(biāo)網(wǎng)站或 APP進(jìn)行反爬突破、協(xié)議破解和提取關(guān)鍵數(shù)據(jù)；
3負(fù)責(zé)反爬蟲策略研究，代理、驗(yàn)證碼識(shí)別等采集支撐服務(wù)建設(shè)；
4參與大規(guī)模數(shù)據(jù)處理流程的設(shè)計(jì)與開發(fā)，包括但不限于數(shù)據(jù)采集、清洗、轉(zhuǎn)換、存儲(chǔ)等過程。
服務(wù)范圍與內(nèi)容
1服務(wù)目標(biāo)
協(xié)助開展各類數(shù)據(jù)采集業(yè)務(wù)（包括但不限于預(yù)訓(xùn)練數(shù)據(jù)采集、全站數(shù)據(jù)采集、文件文檔下載等），針對(duì)多樣化的需求種類，特別是定向采集、高定數(shù)據(jù)字段以及目標(biāo)站點(diǎn)反爬嚴(yán)重等情況，提供定制化解決方案。具體包含但不限于以下內(nèi)容：
1.大模型相關(guān)數(shù)據(jù)采集
o海內(nèi)外文本、圖片、音視頻等數(shù)據(jù)采集
o保證數(shù)據(jù)多樣性及高質(zhì)量
2.反爬蟲策略研究與實(shí)施
o深度分析目標(biāo)網(wǎng)站或 APP
o突破反爬措施（協(xié)議破解、代理使用、驗(yàn)證碼識(shí)別等）
o提供反爬支撐服務(wù)建設(shè)
3.大規(guī)模數(shù)據(jù)處理流程設(shè)計(jì)與開發(fā)
o數(shù)據(jù)采集、清洗、轉(zhuǎn)換、存儲(chǔ)的全流程實(shí)現(xiàn)
o確保數(shù)據(jù)準(zhǔn)確性與可用
1、本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)
2、 1年以上數(shù)據(jù)采集工作經(jīng)驗(yàn)
?核心技能
1、精通 JavaScript逆向工程
2、有主流站點(diǎn) Web端大規(guī)模數(shù)據(jù)采集經(jīng)驗(yàn)
3、具備多類型驗(yàn)證碼處理能力：包括滑塊、點(diǎn)選、Google reCAPTCHA、旋轉(zhuǎn)驗(yàn)證碼等
4、熟悉 APP脫殼、逆向、反編譯及自動(dòng)化相關(guān)技術(shù)
5、具備 AST反混淆 JavaScript代碼及 JSVMP算法還原能力
?附加技能（優(yōu)先考慮）：具有風(fēng)控應(yīng)對(duì)經(jīng)驗(yàn)（如 Akamai并發(fā)、Cloudflare等反爬蟲策略處理經(jīng)驗(yàn)）

工作地點(diǎn)

模速空間(SMC)-A區(qū)模速空間上海模速空間，上海徐匯區(qū)龍臺(tái)路180號(hào)。

職位發(fā)布者

崔婉/高級(jí)招聘顧問

今日活躍
立即溝通
公司Logo軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司公司標(biāo)簽
軟通動(dòng)力信息技術(shù)（集團(tuán)）股份有限公司（以下簡(jiǎn)稱“軟通動(dòng)力”）是中國(guó)數(shù)字技術(shù)產(chǎn)品和服務(wù)創(chuàng)新領(lǐng)導(dǎo)企業(yè)，致力于成為一家具有全球影響力的科技企業(yè)，企業(yè)數(shù)字化轉(zhuǎn)型可信賴合作伙伴。公司2005年成立于北京，多年來始終堅(jiān)持科技創(chuàng)新，具有軟硬全棧的智能技術(shù)產(chǎn)品和服務(wù)能力，提供軟件與數(shù)字技術(shù)服務(wù)、計(jì)算產(chǎn)品與數(shù)字基礎(chǔ)設(shè)施、數(shù)字能源與智算服務(wù)以及國(guó)際化服務(wù)。目前，公司在10余個(gè)重要行業(yè)服務(wù)超過1100家國(guó)內(nèi)外客戶，其中超過230家客戶為世界500強(qiáng)或中國(guó)500強(qiáng)企業(yè)，員工近90000人。軟通動(dòng)力擁有軟通咨詢、軟通金科、軟通工業(yè)互聯(lián)、機(jī)械革命、軟通華方等業(yè)務(wù)子品牌，并在全球40余個(gè)城市布局業(yè)務(wù)，構(gòu)建北美、日本、東南亞、中東四大國(guó)際交付中心，在北京城市副中心、江蘇無錫建設(shè)兩大智能制造基地。同時(shí)，公司前瞻布局智能制造、ICT軟硬基礎(chǔ)能力和生產(chǎn)力智能化產(chǎn)品，打造產(chǎn)業(yè)鏈閉環(huán)。軟通動(dòng)力設(shè)立30個(gè)能力中心，擁有1個(gè)國(guó)家級(jí)工程實(shí)驗(yàn)室，6個(gè)省市政府認(rèn)定的工程、技術(shù)實(shí)驗(yàn)室及研發(fā)中心，1個(gè)博士后科研工作站，50+技術(shù)合作伙伴的生態(tài)合作體系，不斷探索前沿技術(shù)的巨大商業(yè)應(yīng)用潛力。公司旗下教育品牌軟通教育，擁有一家全日制本科學(xué)院——鄭州西亞斯學(xué)院數(shù)字技術(shù)產(chǎn)業(yè)學(xué)院；同時(shí)在全國(guó)合作院校600多所，設(shè)有70多個(gè)校企聯(lián)合人才培養(yǎng)基地，通過校企合作、協(xié)同育人，為社會(huì)培養(yǎng)高素質(zhì)應(yīng)用型人才。軟通動(dòng)力先后獲得“2023年中國(guó)IT服務(wù)市場(chǎng)排名TOP 1”、“2024年Q4 PC出貨量國(guó)內(nèi)市場(chǎng)份額排名TOP 2”、“2024年中國(guó)軟件和信息技術(shù)服務(wù)競(jìng)爭(zhēng)力百?gòu)?qiáng)企業(yè)”、“2023年中國(guó)信創(chuàng)企業(yè)100強(qiáng)”、“2024萬(wàn)得ESG評(píng)級(jí)（Wind ESG Rating）AA級(jí)及信息技術(shù)服務(wù)行業(yè)ESG綜合得分排名第一”等榮譽(yù)及市場(chǎng)認(rèn)可，并擁有全球軟件工程領(lǐng)域最高級(jí)別CMMI V2.0成熟度5級(jí)評(píng)估認(rèn)證、國(guó)家研發(fā)運(yùn)營(yíng)一體化（DevOps）三級(jí)能力成熟度模型認(rèn)證、信息技術(shù)服務(wù)標(biāo)準(zhǔn)（ITSS）運(yùn)維能力成熟度一級(jí)認(rèn)證等專業(yè)資質(zhì)，支撐公司更優(yōu)質(zhì)的服務(wù)體系。
公司主頁(yè)