崗位職責(zé):
負(fù)責(zé)研究和應(yīng)用最前沿的AI大模型技術(shù),如GLM、DeepSeek、QwQ32B等,針對(duì)不同業(yè)務(wù)場(chǎng)景選擇并微調(diào)合適的大模型,進(jìn)行大語(yǔ)言模型落地應(yīng)用,根據(jù)行業(yè)大模型進(jìn)行具體場(chǎng)景的算法開(kāi)發(fā)。
設(shè)計(jì)并實(shí)現(xiàn)大模型在RAG、NLP、CV等領(lǐng)域的創(chuàng)新應(yīng)用方案,重點(diǎn)關(guān)注自然語(yǔ)言處理與計(jì)算機(jī)視覺(jué)的融合應(yīng)用,特別是基于YOLO系列算法的目標(biāo)檢測(cè)與識(shí)別系統(tǒng),包括多模態(tài)理解、圖文檢索、視覺(jué)問(wèn)答、實(shí)時(shí)目標(biāo)檢測(cè)、OCR文本識(shí)別等跨模態(tài)任務(wù),優(yōu)化模型性能,提升業(yè)務(wù)效果。
應(yīng)對(duì)大模型部署和訓(xùn)練中的挑戰(zhàn),包括但不限于計(jì)算資源優(yōu)化、分布式訓(xùn)練策略、模型壓縮與加速等。
負(fù)責(zé)多模態(tài)數(shù)據(jù)的處理與分析,包括文本、圖像、視頻等數(shù)據(jù)類型,利用已有數(shù)據(jù)構(gòu)建多模態(tài)知識(shí)庫(kù)并應(yīng)用于智能問(wèn)答系統(tǒng),能夠根據(jù)公司需求生成精準(zhǔn)的提示詞,對(duì)文本和視覺(jué)數(shù)據(jù)進(jìn)行分類存儲(chǔ),利用大模型結(jié)合YOLO等檢測(cè)算法對(duì)多模態(tài)數(shù)據(jù)進(jìn)行理解和描述。
關(guān)注國(guó)內(nèi)外大模型技術(shù)最新動(dòng)態(tài),持續(xù)追蹤學(xué)術(shù)界和工業(yè)界的研究成果,推動(dòng)公司內(nèi)部技術(shù)升級(jí)與創(chuàng)新。
資格要求:
計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)位,有扎實(shí)的編程功底,熟練掌握大模型、自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)技術(shù),特別是YOLO系列目標(biāo)檢測(cè)算法;學(xué)習(xí)過(guò)深度學(xué)習(xí)、機(jī)器學(xué)習(xí)等相關(guān)課程;
較強(qiáng)的算法實(shí)現(xiàn)能力,熟練掌握Typescript/Python/Shell編程,熟練掌握Pytorch/Tensorflow/Keras等社區(qū)開(kāi)源工具中的一種及以上;熟悉OpenCV、PIL/Pillow、scikit-image等圖像處理庫(kù),具備YOLO算法的實(shí)際部署和優(yōu)化經(jīng)驗(yàn);熟悉配置和管理內(nèi)網(wǎng)環(huán)境計(jì)算資源,具備相關(guān)實(shí)踐經(jīng)驗(yàn)。
在人工智能前沿技術(shù)領(lǐng)域有深入研究和實(shí)踐經(jīng)驗(yàn),能夠搭建調(diào)試及優(yōu)化迭代AI功能,進(jìn)行具體場(chǎng)景的算法開(kāi)發(fā)。要求在自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)兩個(gè)領(lǐng)域都有實(shí)踐經(jīng)驗(yàn),特別強(qiáng)調(diào)YOLO算法的掌握和應(yīng)用,包括但不限于:
NLP領(lǐng)域:文本分類、情感分析、命名實(shí)體識(shí)別、文本生成、機(jī)器翻譯、問(wèn)答系統(tǒng)等
CV領(lǐng)域(重點(diǎn)YOLO系列):
熟練掌握YOLOv5、YOLOv8、YOLOv9、YOLOv10等主流版本
具備YOLO模型訓(xùn)練、微調(diào)、部署和性能優(yōu)化經(jīng)驗(yàn)
熟悉目標(biāo)檢測(cè)、實(shí)例分割、關(guān)鍵點(diǎn)檢測(cè)等YOLO應(yīng)用場(chǎng)景
圖像分類、OCR識(shí)別、人臉識(shí)別、圖像生成等其他CV任務(wù)
多模態(tài)應(yīng)用:圖文匹配、視覺(jué)問(wèn)答、圖像描述生成、跨模態(tài)檢索等
熟悉常見(jiàn)的AI平臺(tái),如ModelScope、Huggingface等,以及計(jì)算機(jī)視覺(jué)相關(guān)平臺(tái)和工具,特別是YOLO生態(tài)系統(tǒng),包括Ultralytics、YOLOv5官方倉(cāng)庫(kù)、OpenMMLab、Detectron2等。
有大模型相關(guān)項(xiàng)目的部署和微調(diào)經(jīng)驗(yàn),同時(shí)具備以下經(jīng)驗(yàn)者優(yōu)先:
大模型RAG應(yīng)用、多模態(tài)問(wèn)答系統(tǒng)搭建經(jīng)驗(yàn)
DeepSeek滿血版部署經(jīng)驗(yàn)或其他視覺(jué)-語(yǔ)言大模型部署經(jīng)驗(yàn)
YOLO算法在實(shí)際項(xiàng)目中的應(yīng)用經(jīng)驗(yàn),如工業(yè)檢測(cè)、安防監(jiān)控、自動(dòng)駕駛等場(chǎng)景
YOLO模型的邊緣端部署經(jīng)驗(yàn)(如TensorRT、ONNX、OpenVINO等)
多模態(tài)數(shù)據(jù)處理和模型訓(xùn)練經(jīng)驗(yàn)
在NLP和CV相關(guān)領(lǐng)域有研究成果或開(kāi)源項(xiàng)目貢獻(xiàn)者加分項(xiàng):
熟悉多模態(tài)大模型(如GPT-4V、LLaVA、CLIP等)的原理和應(yīng)用有圖像生成模型(如Stable Diffusion、DALL-E等)使用或微調(diào)經(jīng)驗(yàn)具備YOLO算法改進(jìn)和優(yōu)化經(jīng)驗(yàn),如網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化、損失函數(shù)改進(jìn)等
熟悉YOLO在特定領(lǐng)域的應(yīng)用,如醫(yī)學(xué)影像、遙感圖像、工業(yè)質(zhì)檢等具備端到端多模態(tài)AI產(chǎn)品開(kāi)發(fā)經(jīng)驗(yàn),特別是涉及實(shí)時(shí)目標(biāo)檢測(cè)的應(yīng)用有YOLO相關(guān)論文發(fā)表或開(kāi)源項(xiàng)目維護(hù)經(jīng)驗(yàn)。