職位描述
Java數(shù)據(jù)采集數(shù)據(jù)清洗分布式爬蟲ScrapyKettleFlinkElasticsearchKafka反爬蟲計(jì)算機(jī)軟件
##崗位職責(zé)：
1.負(fù)責(zé)公司采集平臺(數(shù)據(jù)采集/調(diào)度/管理等模塊)的需求分析、架構(gòu)設(shè)計(jì)、功能開發(fā)與持續(xù)維護(hù)優(yōu)化。
2.負(fù)責(zé)部分 Java 采集/爬取相關(guān)程序的設(shè)計(jì)、開發(fā)、性能調(diào)優(yōu)與問題排查。
3.參與分布式服務(wù)的設(shè)計(jì)與部署，提升系統(tǒng)的穩(wěn)定性、擴(kuò)展性與高可用能力,。
4.優(yōu)化采集鏈路的調(diào)度策略、任務(wù)容錯(cuò)、隊(duì)列管理、數(shù)據(jù)清洗與異常監(jiān)控。
3.參與分布式服務(wù)的設(shè)計(jì)與部署，提升系統(tǒng)的穩(wěn)定性、擴(kuò)展性與高可用能力,。
4.優(yōu)化采集鏈路的調(diào)度策略、任務(wù)容錯(cuò)、隊(duì)列管理、數(shù)據(jù)清洗與異常監(jiān)控。
5.編寫并維護(hù)高質(zhì)量的技術(shù)文檔、接口說明、設(shè)計(jì)文檔與運(yùn)維手冊。
##任職要求：
1.本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè),3 年及以上 Java 后端開發(fā)經(jīng)驗(yàn)。
1.本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè),3 年及以上 Java 后端開發(fā)經(jīng)驗(yàn)。
2.熟悉分布式系統(tǒng)的設(shè)計(jì)與開發(fā)，具備服務(wù)拆分、注冊發(fā)現(xiàn)、配置管理、負(fù)載均衡等實(shí)踐經(jīng)驗(yàn),。
3.熟練掌握 Spring Boot/Spring Cloud 生態(tài)，熟悉 Nacos(配置中心/注冊中心)等常用組件。
4.具備爬蟲或調(diào)度類系統(tǒng)(任務(wù)調(diào)度、分布式執(zhí)行、去重、限速、重試、監(jiān)控)實(shí)際項(xiàng)目經(jīng)驗(yàn)。
5.有完整的爬蟲系統(tǒng)開發(fā)經(jīng)驗(yàn)(如采集框架選型、反爬策略、代理池、抓取效率優(yōu)化、數(shù)據(jù)清洗與存儲)。
6.熟悉常用中間件(如 Redis、Kafka、RabbitMQ、Elasticsearch、MySQL 等)，能進(jìn)行性能調(diào)優(yōu)與問題定位。
7.具備良好的代碼規(guī)范、單元測試意識與性能監(jiān)控、日志排障經(jīng)驗(yàn)。
8.思路清晰，責(zé)任心強(qiáng)，具備良好的溝通協(xié)作能力與自驅(qū)力。
9.能夠使用AI輔助編碼,，了解常用的如Cursor等IDE工具。
8.思路清晰，責(zé)任心強(qiáng)，具備良好的溝通協(xié)作能力與自驅(qū)力。
9.能夠使用AI輔助編碼,，了解常用的如Cursor等IDE工具。
## 加分項(xiàng)
1.熟練掌握 Python 開發(fā)，能編寫高質(zhì)量的 Python 爬蟲/調(diào)度腳本或輔助工具。
2.了解常見爬蟲框架(Scrapy、Playwright、Selenium、Colly 等)或分布式爬蟲架構(gòu)實(shí)踐。
3.有大規(guī)模任務(wù)調(diào)度平臺(如 Airfow、XXL-JOB、Flink、Kettle 等)二次開發(fā)或深度使用經(jīng)驗(yàn)。
1.熟練掌握 Python 開發(fā)，能編寫高質(zhì)量的 Python 爬蟲/調(diào)度腳本或輔助工具。
2.了解常見爬蟲框架(Scrapy、Playwright、Selenium、Colly 等)或分布式爬蟲架構(gòu)實(shí)踐。
3.有大規(guī)模任務(wù)調(diào)度平臺(如 Airfow、XXL-JOB、Flink、Kettle 等)二次開發(fā)或深度使用經(jīng)驗(yàn)。
工作地點(diǎn)
長沙開福區(qū)綠地V島B區(qū)-9棟6樓
相似職位
- 爬蟲開發(fā)工程師（Java / 分布式方向）8000-13000元
長沙 - 開福
中科聞歌 - 爬蟲開發(fā)工程師1-1.5萬
長沙 - 天心
北京正櫓航空服務(wù)有限公司 - 爬蟲工程師9000-11000元
長沙 - 岳麓
湖南星漢數(shù)智科技有限公司 - 爬蟲開發(fā)工程師（Web/APP逆向方向）1-1.5萬
長沙 - 天心
北京正櫓航空服務(wù)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
鄧先生/人事助理
剛剛活躍立即溝通
中科聞歌中科聞歌簡介中科聞歌成立于2017年，是中科院自動化所孵化企業(yè)，定位于領(lǐng)先的數(shù)據(jù)與決策智能服務(wù)商。公司依托互聯(lián)網(wǎng)大數(shù)據(jù)和情報(bào)與安全信息方向十余年技術(shù)積累，聚焦DI+AI+OR（數(shù)據(jù)智能+人工智能+運(yùn)籌學(xué)）智能計(jì)算核心技術(shù)，專注于人工智能基礎(chǔ)平臺與應(yīng)用研發(fā)，提供面向數(shù)智媒宣、數(shù)智輿情、數(shù)智金融和數(shù)智安全等領(lǐng)域的多語言、跨模態(tài)和深度認(rèn)知智能大數(shù)據(jù)與人工智能基礎(chǔ)平臺及解決方案。公司核心團(tuán)隊(duì)在國際頂級學(xué)術(shù)期刊和會議發(fā)表論文600余篇，申請發(fā)明專利近百項(xiàng)，研發(fā)和實(shí)現(xiàn)核心算法3000余個(gè)，數(shù)據(jù)覆蓋全球媒體，是新華社多語言、科技冬奧多語言服務(wù)商，多項(xiàng)研究和技術(shù)屬于開創(chuàng)性工作，獲中科院“弘光專項(xiàng)”、國家科技創(chuàng)新2030“新一代人工智能”等重大專項(xiàng)支持。公司現(xiàn)有員工700余人，集聚全球一流青年人才，擁有30余位博士領(lǐng)軍人才，設(shè)立博士工作站。公司已在北京、深圳、上海、南京、西安、重慶等地設(shè)立分支機(jī)構(gòu)，累計(jì)完成七輪超十億元融資，投資機(jī)構(gòu)包括國開金融、中網(wǎng)投、盈富泰克、深創(chuàng)投、中科院資本和科技部的相關(guān)基金等，入選國家級“專精特新小巨人”企業(yè)，獲中國創(chuàng)業(yè)創(chuàng)新大賽全國總決賽成長組新一代信息技術(shù)第一名、數(shù)博會“領(lǐng)先科技成果獎(jiǎng)”、公安部科技進(jìn)步獎(jiǎng)二等獎(jiǎng)、“王選新聞科學(xué)技術(shù)獎(jiǎng)”一等獎(jiǎng)（2019年、2021年）等獎(jiǎng)項(xiàng)。公司已服務(wù)超千家政企客戶，包括中宣部、工信部、公安部、海關(guān)總署、中國人民銀行、新華社、人民日報(bào)、中央廣播電視總臺、北京大學(xué)、清華大學(xué)、國家電網(wǎng)、一汽集團(tuán)、海爾集團(tuán)等單位。
公司主頁