工作職責(zé)
1.負責(zé)項目的模型部署工作,并具備開源項目的二次開發(fā)能力,按照公司需求進行定制。
2.負責(zé)各類模型在國產(chǎn)GPU上的適配工作。
3.負責(zé)國產(chǎn)GPU虛擬化技術(shù)驗證實施工作。
4.參與大模型的量化壓縮和推理加速工作,致力于實現(xiàn)極致速度和精度。
5.分析并解決模型部署中的性能瓶頸,同產(chǎn)品團隊緊密協(xié)作推動大模型產(chǎn)品落地。
6.持續(xù)關(guān)注并探索新的部署、量化和加速技術(shù),推動團隊的技術(shù)創(chuàng)新。
任職要求
1.本科及以上學(xué)歷,計算機科學(xué)、軟件工程、自動化或相關(guān)專業(yè)。
2.熟悉常見國產(chǎn)算力卡的開發(fā)框架,如晟騰CANN。
3.熟悉常見開源模型的性能與算力需求,對開源模型選型,測試模型性能,持續(xù)優(yōu)化部署方案,以提高模型的準(zhǔn)確性和響應(yīng)速度。
4.編程語言:熟練使用python編程,熟悉使用至少一種深度學(xué)習(xí)框架,如 pytorch、tensorflow等。
5.其他要求:有大型項目管理和團隊管理經(jīng)驗者優(yōu)先,具備國產(chǎn)服務(wù)器環(huán)境開發(fā)實施部署經(jīng)驗者優(yōu)先?,具有電力行業(yè)從業(yè)經(jīng)驗者優(yōu)先