職位描述:
參與并負(fù)責(zé)數(shù)據(jù)平臺的后端研發(fā),包括PB級數(shù)據(jù)獲取、清洗工作;
參與設(shè)計并實現(xiàn)高穩(wěn)定性和高性能的分布式數(shù)據(jù)處理系統(tǒng);
對現(xiàn)有系統(tǒng)方案能夠持續(xù)改進和優(yōu)化,不斷提升系統(tǒng)穩(wěn)定性和性能,推進技術(shù)在業(yè)務(wù)落地;
調(diào)研搜集高質(zhì)量數(shù)據(jù),支持基礎(chǔ)數(shù)據(jù)集迭代更新;
任職要求
本科及以上學(xué)歷,2年以上非結(jié)構(gòu)化數(shù)據(jù)處理工作經(jīng)驗,熟練掌握文本/視頻/圖片等多模態(tài)非結(jié)構(gòu)化數(shù)據(jù)處理;精通數(shù)據(jù)清洗,特征提取等技術(shù)。
熟悉 Python/Go 至少一門后端語言,并對語言特性有一定理解;
熟悉后端常用技術(shù),包括不限于:數(shù)據(jù)庫、消息隊列、分布式存儲、異步任務(wù)隊列等;
熟悉常用數(shù)據(jù)處理算法(如視頻編碼、切分、去重、聚類、質(zhì)量評估等),有傳統(tǒng)CV、NLP 模型訓(xùn)練/應(yīng)用相關(guān)經(jīng)驗者優(yōu)先;
熟悉數(shù)據(jù)處理相關(guān)的開源工具(如Ray、Hadoop 等),有大數(shù)據(jù)處理經(jīng)驗者優(yōu)先;
了解云原生技術(shù)棧(K8S、Docker、微服務(wù)等),有云平臺相關(guān)經(jīng)驗者優(yōu)先;
具有良好的業(yè)務(wù)理解和抽象設(shè)計能力,善于溝通,有責(zé)任心、務(wù)實,能很好的與他人合作;
有較強的學(xué)習(xí)能力,能夠持續(xù)關(guān)注和學(xué)習(xí)業(yè)界最新技術(shù)動態(tài)。
加分項:千萬以上量級數(shù)據(jù)獲取、清洗經(jīng)驗,全棧開發(fā)能力