職位描述
可轉正實習證明PythonHTML分布式爬蟲數(shù)據挖掘數(shù)據采集爬蟲技術設計和開發(fā)信息入庫熟悉SCRAPY熟悉LINUX電商社交
【歡迎大三或者研三在讀生投遞】【要求每周可全勤到崗，不接受線上實習】
崗位職責：
1、負責多平臺信息爬取和頁面內容的提取分析；
2、分析各種網站、網頁、鏈接的形態(tài)，分析網站數(shù)據結構，提取業(yè)務需求數(shù)據；
3、解決技術包括反爬、采集速度等問題；
4、爬取數(shù)據處理、清洗、入庫，數(shù)據質量核對。
崗位要求：
1、能夠完成爬蟲技術設計和開發(fā)，找尋相關網站，并從中爬取數(shù)據、信息入庫整理；
2、熟悉python語言、熟悉scrapy及其拓展模塊；
3、熟悉Mysql、MongoDB等數(shù)據庫的使用；
4、熟悉HTTP協(xié)議，掌握Session、Cookie、Ajax等，了解常用驗證碼識別技術；
5、能夠維護和優(yōu)化已有的爬蟲服務，按需求做增量采集，數(shù)據監(jiān)控，拓展數(shù)據源；
6、能夠解決封賬號、封IP采集等問題，解決網頁抓取、信息抽取等問題，構建完善的網絡信息收集平臺；
7、熟悉Linux常用命令、docker容器技術和git技術者優(yōu)先。
崗位職責：
1、負責多平臺信息爬取和頁面內容的提取分析；
2、分析各種網站、網頁、鏈接的形態(tài)，分析網站數(shù)據結構，提取業(yè)務需求數(shù)據；
3、解決技術包括反爬、采集速度等問題；
4、爬取數(shù)據處理、清洗、入庫，數(shù)據質量核對。
崗位要求：
1、能夠完成爬蟲技術設計和開發(fā)，找尋相關網站，并從中爬取數(shù)據、信息入庫整理；
2、熟悉python語言、熟悉scrapy及其拓展模塊；
3、熟悉Mysql、MongoDB等數(shù)據庫的使用；
4、熟悉HTTP協(xié)議，掌握Session、Cookie、Ajax等，了解常用驗證碼識別技術；
5、能夠維護和優(yōu)化已有的爬蟲服務，按需求做增量采集，數(shù)據監(jiān)控，拓展數(shù)據源；
6、能夠解決封賬號、封IP采集等問題，解決網頁抓取、信息抽取等問題，構建完善的網絡信息收集平臺；
7、熟悉Linux常用命令、docker容器技術和git技術者優(yōu)先。
工作地點
廣州海珠區(qū)TCL大廈2301
相似職位
- python爬蟲工程師（高薪急聘+行業(yè)獨角獸）1.6-2.5萬·14薪
廣州 - 番禺
探跡科技 - 中級爬蟲(雙休)1.5-3萬
廣州 - 天河
廣州數(shù)說故事信息科技有限公司 - 爬蟲實習生100-150元/天
廣州 - 海珠
廣州信安數(shù)據有限公司 - 高級爬蟲開發(fā)工程師（高薪急聘+大數(shù)據+AI）1.7-2.6萬·14薪
廣州 - 番禺
探跡科技 - 高級爬蟲工程師3-4.5萬
廣州 - 天河
廣州全芃信息技術有限公司 - 中高級爬蟲工程師1.5-3萬·14薪
廣州 - 海珠
探跡科技
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
梁女士/HRBP
昨日活躍立即溝通
廣州信安數(shù)據有限公司廣州信安數(shù)據有限公司成立于2016年，從事特定細分市場6年，創(chuàng)始團隊具有豐富的產業(yè)級數(shù)據管理理論和實踐經驗。公司以“數(shù)據信安，強國富民”為企業(yè)愿景，致力于成為中國最好的產業(yè)級數(shù)據治理及要素運營服務商。信安數(shù)據聚焦大數(shù)據行業(yè)，面向電力、航空、金融、政務等數(shù)據要素密集市場的頭部客戶，圍繞數(shù)據治理及數(shù)據要素流通領域，提供包括咨詢、產品、運營、創(chuàng)新在內的一體化綜合解決方案，有效幫助客戶盤活數(shù)據資產、促進數(shù)據價值釋放。信安數(shù)據以南方電網、南航、各地政數(shù)局等超大型國企及政府單位為主要客戶，建立了穩(wěn)定的客群。同時積極與BAT、聯(lián)通、移動、華為等渠道廠商、DAMA中國、中國信通院等行業(yè)聯(lián)盟及暨南大學、廣州大學、華中科技大學等高校合作，形成了“產學研”一體的生態(tài)體系。信安數(shù)據自成立以來，高度重視企業(yè)資質和知識產權建設，已先后通過了AAA級信用企業(yè)認定、ISO27001、ISO20000、CMMI3、CS2等認證；成為DAMA中國理事會員單位、BDIAC和TC606及數(shù)據安全產業(yè)研究工作組成員單位。擁有多項軟件著作權和發(fā)明專利，積極參與各類創(chuàng)新大賽并獲獎；深度參與國家標準規(guī)范及區(qū)域創(chuàng)新規(guī)劃工作，具有很高的市場美譽度及品牌影響力。
公司主頁