崗位職責(zé):
1、針對(duì)邊緣嵌入式設(shè)備,對(duì)分類、監(jiān)測(cè)、分割、多模態(tài)、LLM等模型進(jìn)行量化、剪枝和稀疏化處理,并負(fù)責(zé)將優(yōu)化后的模型高效部署到邊緣設(shè)備上,確保模型在資源受限的硬件環(huán)境中實(shí)現(xiàn)快速推理和低功耗運(yùn)行;
2、對(duì)部署后的模型進(jìn)行性能評(píng)估和優(yōu)化,包括但不限于計(jì)算精度、吞吐率和延遲等方面的調(diào)優(yōu),確保在邊緣設(shè)備上達(dá)到最優(yōu)的性能表現(xiàn);
3、撰寫部署步驟、測(cè)試計(jì)劃、性能分析報(bào)告等技術(shù)文檔,為邊緣設(shè)備的模型部署提供標(biāo)準(zhǔn)化流程和參考。
任職資格:
1、熟練掌握python、C++編程語(yǔ)言,具備良好的代碼實(shí)現(xiàn)能力;
2、熟悉主流推理框架以及模型推理工具;
3、具備模型量化、剪枝和壓縮的實(shí)際操作經(jīng)驗(yàn),能夠針對(duì)邊緣設(shè)備進(jìn)行模型優(yōu)化;
4、熟悉邊緣設(shè)備部署流程(RKNN、昇騰系列芯片等),包括但不限于模型轉(zhuǎn)換、推理加速和硬件適配。