崗位內(nèi)容:
1. 負責爬蟲系統(tǒng)的設計和開發(fā),實現(xiàn)高效穩(wěn)定的數(shù)據(jù)采集和分析處理。
2. 進行數(shù)據(jù)清洗、去重、格式化等操作,確保數(shù)據(jù)質量滿足業(yè)務需求。
3. 優(yōu)化爬蟲程序,提高爬取效率和成功率,降低誤差率以及被封禁的風險。
4. 開發(fā)自動化測試腳本,保證爬蟲系統(tǒng)的穩(wěn)定性和可靠性。
任職要求:
1. 精通掌握 javascript與java語言,了解 HTTP 協(xié)議及常見的反爬蟲算法。
2. 熟悉安卓的基礎開發(fā),了解hook的基本用法。
3. 具備良好的算法和數(shù)據(jù)結構基礎,熟悉多線程、異步編程等技術。
4. 精通各類數(shù)據(jù)庫,如 MySQL、Redis、pgsql等,并有實際項目應用經(jīng)驗。
5. 具備良好的英文閱讀能力,能夠閱讀英文技術文檔和資料。