The Impact You’ll Make in this Role: 1.大模型推理引擎研發(fā):負責設計與實現大模型高效推理框架,優(yōu)化計算圖編譯、算子融合、動態(tài)批處理等核心技術,支持千億級參數模型的分布式推理任務 2.國產化平臺適配與加速 :主導大模型推理任務在國產芯片(如昇騰、寒武紀、海光)及國產操作系統(tǒng)平臺的適配 3.醫(yī)療場景推理優(yōu)化:支持醫(yī)療診療推理、健康交互領域的模型部署,開發(fā)醫(yī)療場景的特異性優(yōu)化策略 Your Skills and Expertise: 1.計算機相關方向碩士以上學歷,3年C/C++推理引擎開發(fā)經驗 2.精通TensorRT/ONNXRUNTIME等推理框架,熟悉vLLM/SGLang/Triton等開源項目, 掌握模型量化、算子優(yōu)化、顯存管理等核心推理優(yōu)化技術,熟悉Transformer架構及其衍生模型的推理特性(如FlashAttention優(yōu)化) 3.具備昇騰CANN、寒武紀MLU等國產平臺開發(fā)經驗者優(yōu)先 4.有百億參數級模型部署經驗者優(yōu)先