崗位職責:
1.負責python服務、數(shù)據(jù)預處理腳本、項目工具等研發(fā);
2.負責網頁數(shù)據(jù)采集,數(shù)據(jù)清洗的技術的研發(fā)工作,包括設計爬蟲策略和反爬規(guī)則;
3.根據(jù)項目需求不斷優(yōu)化爬蟲策略,標注流程和采集系統(tǒng);
任職要求:
1、統(tǒng)招及以上學歷,計算機,軟件工程相關專業(yè),3年以內python開發(fā)經驗;
2.熟練使用python進行web服務開發(fā),腳本開發(fā)以及輔助工具開發(fā);
3.熟練使用numpy、django等第三方庫;
4.了解常見的網絡通信原理;
5.抗壓能力強,具有良好的溝通能力;
6.具備docker、K8s研發(fā)經驗者優(yōu)先;
7.掌握數(shù)據(jù)采集及爬蟲技術,具備相關業(yè)務開發(fā)經驗。