1.搭建多設備協同控制體系,通過ADB、Wi-Fi直連或USB HUB實現50+臺安卓設備集群管理,支持遠程
喚醒、批量投屏及狀態(tài)監(jiān)控
2.核心系統開發(fā):主導海航、川航等航司APP的公開數據采集系統設計,實現航班動態(tài)、票價庫存、座位
圖等核心數據的實時抓取與結構化處理。
3.自動化流程構建:模擬用戶端操作(查詢、登錄、下單、支付、出票),開發(fā)全鏈路自動化腳本,覆蓋
APP端及Web端接口調用,確保業(yè)務流程閉環(huán)。
4.安卓逆向分析:針對航司APP加固、代碼混淆、動態(tài)加載等防護措施,進行反編譯、脫殼、Hook調
試,破解加密參數(如Token、簽名)及接口鑒權邏輯。
5.反爬對抗策略:研究航司風控規(guī)則(如IP封禁、設備指紋、行為檢測),設計分布式爬蟲架構,集成代
理池、設備指紋偽裝、請求頻率動態(tài)調控等反反爬方案。
6.數據清洗與存儲:構建高效ETL流程,處理非結構化數據(如HTML、PDF),優(yōu)化數據庫存儲方案,
支持高并發(fā)查詢與實時分析。
7.系統穩(wěn)定性保障:設計監(jiān)控告警機制(如任務失敗率、響應延遲),實現故障自動重試與人工干預預
案,保障7×24小時服務可用性。
8.跨團隊協作:與產品、運營團隊聯動,根據業(yè)務需求迭代數據采集維度(如新增艙位等級、退改簽政
策),輸出數據質量報告與優(yōu)化建議。
9.技術文檔編寫:輸出系統架構設計、接口文檔、逆向分析報告,確保技術資產可維護性與團隊知識沉
淀。
10.前沿技術探索:研究AI輔助爬蟲(如動態(tài)渲染、智能路由調度)、區(qū)塊鏈存證等新技術在數據合規(guī)采
集中的應用。
任職資格:
1.3年以上爬蟲開發(fā)經驗,至少1個完整航空領域數據采集項目經驗,熟悉廉價航空(如春秋、九元)或
OTA平臺(攜程、飛豬)數據結構者優(yōu)先;
2.具備跨境數據采集經驗,如頂象防護(重點考察)、處理Akamai防護、Cloudflare 5秒盾;
3.突破反爬蟲,繞過反Frida調試,繞過反Root/越獄檢測,繞過反VPN/代理檢測,繞過證書綁定
4.精通ADB協議棧,掌握adb shell input事件注入、uiautomator控件解析等底層操作,能編寫自定義
ADB插件;
5.熟悉群控系統搭建(如Scrcpy多開、雷電模擬器集群),掌握USB通斷器、一拖N數據線等硬件配置;
6.精通Python/Java,熟練使用Scrapy、Selenium、Appium等框架,掌握AST反混淆、Frida Hook、
Xposed框架等逆向工具;
7.熟悉HTTP/HTTPS協議、TCP/IP抓包(Charles/Fiddler)、HTTPS證書繞過(JustTrustMe模塊)、
RSA/AES加密破解;
8.具備航司APP逆向實戰(zhàn)經驗(如破解登錄態(tài)維持、支付回調接口),熟悉加固殼脫殼方案;
9.熟練使用Linux環(huán)境,掌握Docker容器化部署、Redis緩存、Kafka消息隊列,具備分布式系統調優(yōu)經
驗;
10.強問題解決能力,能獨立定位并修復復雜逆向難題(如動態(tài)密鑰生成、混淆代碼還原);
11.熟悉航空票務業(yè)務邏輯(如艙位代碼、運價規(guī)則等)