国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

400-885-9898
更新于 7月16日
智聯(lián)APPAPP
舉報(bào)

數(shù)據(jù)采集工程師

1.8-2萬(wàn)
  • 北京西城區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招1人

職位描述

PythonJavaRPA數(shù)據(jù)采集爬蟲互聯(lián)網(wǎng)
崗位職責(zé)：
1) 設(shè)計(jì)、開發(fā)與維護(hù)網(wǎng)頁(yè)端及移動(dòng)端（App）數(shù)據(jù)采集系統(tǒng)，確保高可用性與數(shù)據(jù)準(zhǔn)確性。
2) 針對(duì)復(fù)雜場(chǎng)景，綜合運(yùn)用多種技術(shù)實(shí)現(xiàn)數(shù)據(jù)采集：
網(wǎng)頁(yè)端：
a) 動(dòng)態(tài)頁(yè)面渲染（Selenium/Playwright）；
b) API逆向與異步數(shù)據(jù)抓??；
c) 反反爬（代理IP、請(qǐng)求模擬、指紋偽裝）；
App端：
a) 網(wǎng)絡(luò)層抓包（Charles/MitmProxy + 證書繞過(guò)）；
b) 逆向工程（APK反編譯、Xposed/Frida Hook 解析加密邏輯）；
RPA技術(shù)：
a) 使用RPA框架，模擬用戶操作（點(diǎn)擊、滑動(dòng)、輸入）；
b) 通過(guò)圖像識(shí)別（OCR）或控件定位獲取非接口數(shù)據(jù)；
c) 處理高交互型App（如需要登錄、多步驟跳轉(zhuǎn)的場(chǎng)景）；
d) 多平臺(tái)賬號(hào)養(yǎng)成與管理，確保采集賬號(hào)的安全穩(wěn)定；
3) 構(gòu)建數(shù)據(jù)清洗、存儲(chǔ)與監(jiān)控流程：MySQL/PostgreSQL/ETL；
4) 優(yōu)化采集架構(gòu)：分布式調(diào)度、失敗重試、增量采集、核查校驗(yàn)等）；
5) 合規(guī)性保障：遵守Robots協(xié)議及數(shù)據(jù)隱私法規(guī)；
任職要求：
1）核心技能：
a) 熟練掌握Python和Java編程語(yǔ)言；
b) 熟悉網(wǎng)絡(luò)編程與數(shù)據(jù)解析，包括HTTP/HTTPS協(xié)議、HTML/XML解析（如BeaautifulSoup、XPath、lxml）；
c) 熟悉主流爬蟲框架（Scrapy、Selenium、Playwright等）；
2）網(wǎng)頁(yè)采集：
a) 動(dòng)態(tài)渲染工具（Playwright/Selenium）；
b) 反爬對(duì)抗經(jīng)驗(yàn)（IP池、瀏覽器指紋）；
3）App采集：
a) 抓包分析：Charles/Fiddler + HTTPS解密；
b) 逆向工程：APK反編譯（JADX/GDA）、Hook框架（Frida）；
c) RPA實(shí)現(xiàn)：熟悉至少一種RPA工具（如UiPath, Appium, TagUI）或 Python RPA庫(kù)（PyAutoGUI, airtest）；具備自動(dòng)化腳本設(shè)計(jì)能力（流程控制、異常處理）；
4）數(shù)據(jù)庫(kù)基礎(chǔ)（SQL/NoSQL）及Linux運(yùn)維能力。
5）其他軟性要求：
a) 技術(shù)選型能力：能根據(jù)場(chǎng)景選擇最優(yōu)方案（如：接口可解析時(shí)優(yōu)先用Hook，UI復(fù)雜時(shí)用RPA）。
b) 風(fēng)險(xiǎn)意識(shí)：明確RPA的優(yōu)缺點(diǎn)（效率較低但繞過(guò)性強(qiáng)），避免濫用。
c) 主動(dòng)追蹤反爬技術(shù)演進(jìn)，具備攻防思維。
d) 邏輯思維清晰，有責(zé)任心，良好的團(tuán)隊(duì)合作意識(shí)與溝通能力。
加分項(xiàng)：
a) 有分布式爬蟲開發(fā)經(jīng)驗(yàn)；
b) 熟悉桌面RPA相關(guān)技術(shù)，使用過(guò)八爪魚等采集工具；
c) 各類驗(yàn)證碼識(shí)別破解通過(guò)能力（第三方服務(wù)集成/OCR模型）。

工作地點(diǎn)

北京西城區(qū)月壇大廈

職位發(fā)布者

陳女士/人事經(jīng)理

昨日活躍
立即溝通
公司Logo北京神州新橋科技有限公司
北京神州新橋科技有限公司成立于2001年，是一家具有健全管理體制和現(xiàn)代運(yùn)營(yíng)理念的IT專業(yè)服務(wù)與解決方案供應(yīng)商。公司聚焦客戶的信息化創(chuàng)新需求，可為客戶量身定制全系統(tǒng)IT解決方案，并持續(xù)為客戶提供業(yè)務(wù)全周期的專業(yè)服務(wù)，公司在金融、電信、互聯(lián)網(wǎng)、大型企業(yè)、政府、教育等多個(gè)領(lǐng)域具備廣泛的客戶基礎(chǔ)和豐富的行業(yè)經(jīng)驗(yàn)。公司不斷拓展業(yè)務(wù)領(lǐng)域、緊跟技術(shù)發(fā)展方向、通過(guò)自主軟件產(chǎn)品來(lái)不斷充實(shí)自身能力，可為客戶提供融合性系統(tǒng)集成、應(yīng)用系統(tǒng)軟件開發(fā)、IT支撐平臺(tái)建設(shè)、云計(jì)算構(gòu)建、數(shù)據(jù)中心構(gòu)建、外包維保、安全評(píng)估、災(zāi)備咨詢、移動(dòng)互聯(lián)網(wǎng)+定制開發(fā)、信息化應(yīng)用及監(jiān)控系統(tǒng)構(gòu)架等在內(nèi)的全流程信息化解決方案，是國(guó)內(nèi)少數(shù)幾家具備“一站式”需求實(shí)現(xiàn)能力的綜合性信息系統(tǒng)解決方案提供商之一。神州新橋自成立以來(lái)，業(yè)務(wù)始終保持高速穩(wěn)定的增長(zhǎng)，目前已經(jīng)擁有專業(yè)技術(shù)隊(duì)伍和服務(wù)團(tuán)隊(duì)。公司總部（軟件研發(fā)中心）設(shè)在中國(guó)北京，上海、深圳、新疆等多個(gè)城市設(shè)有分公司和辦事處，在全國(guó)36個(gè)省市自治區(qū)建立了服務(wù)機(jī)構(gòu)，一線支持服務(wù)人員超過(guò)1600人，長(zhǎng)期為全國(guó)性客戶本地實(shí)施以及運(yùn)維提供支撐服務(wù)，可及時(shí)響應(yīng)各類服務(wù)支持需求、具有統(tǒng)一規(guī)范化流程的服務(wù)體系。與此同時(shí)，為了更好的開拓海外業(yè)務(wù)，公司設(shè)立了HONG KONG SINO BRIDGE LIMITED，即北京神州新橋科技有限公司香港子公司，負(fù)責(zé)海外相關(guān)業(yè)務(wù)，為公司全球化發(fā)展奠定基礎(chǔ)。神州新橋與眾多國(guó)際國(guó)內(nèi)技術(shù)供應(yīng)商建立了廣泛的長(zhǎng)期業(yè)務(wù)合作關(guān)系，通過(guò)了北京市高新技術(shù)企業(yè)認(rèn)證，ISO 9001:27001質(zhì)量體系認(rèn)證，擁有國(guó)家系統(tǒng)集成一級(jí)資質(zhì)認(rèn)證，具備承接大型及全國(guó)性項(xiàng)目的支持能力。與此同時(shí)，公司憑借強(qiáng)大的軟件研發(fā)團(tuán)隊(duì)，結(jié)合豐富的行業(yè)經(jīng)驗(yàn)，在管理支撐類軟件集成和開發(fā)，業(yè)務(wù)運(yùn)營(yíng)類應(yīng)用軟件APP，云平臺(tái)監(jiān)控運(yùn)維平臺(tái)運(yùn)營(yíng)等業(yè)務(wù)方面具有一定市場(chǎng)地位，具備前期咨詢-中期建設(shè)-后期運(yùn)營(yíng)的全流程體系化服務(wù)能力。公司所推出的平臺(tái)開發(fā)+合作運(yùn)營(yíng)的模式，有效地降低了客戶對(duì)平臺(tái)后期迭代所帶來(lái)的風(fēng)險(xiǎn)擔(dān)憂，公司服務(wù)研發(fā)產(chǎn)品的市場(chǎng)規(guī)模逐年增長(zhǎng)。神州新橋聚集著一批富有敬業(yè)精神的專業(yè)人才，為客戶帶來(lái)價(jià)值，為社會(huì)、投資者及員工持續(xù)制造財(cái)富，是神州新橋公司始終堅(jiān)持的服務(wù)理念。注意甄別招聘信息，認(rèn)準(zhǔn)官方渠道，謹(jǐn)防詐騙。
公司主頁(yè)