国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

更新于 8月20日

大模型推理平臺研發(fā)工程師

1.5-2萬
  • 南京雨花臺區(qū)
  • 1-3年
  • 本科
  • 全職
  • 招1人

職位描述

大模型算法
大模型推理平臺研發(fā)工程師
一、崗位職責(zé)
核心功能開發(fā)與優(yōu)化
參與大模型推理管理平臺的二次開發(fā),包括分布式調(diào)度算法(如Binpack/Spread策略
)、多推理后端(vLLM/llama.cpp)集成,以及異構(gòu)GPU資源管理(NVIDIA/AMD/昇騰等)。
優(yōu)化大規(guī)模模型推理性能,支持單機(jī)多卡與跨節(jié)點(diǎn)分布式推理,解決高并發(fā)場景下的資源爭用問題
生態(tài)適配與擴(kuò)展
擴(kuò)展國產(chǎn)硬件支持(如華為昇騰、海光DCU),適配多模態(tài)模型(VLMs)、RAG知識庫組件(Embedding/Reranker模型)。
開發(fā)與OpenAI兼容的API接口,支持多模型對比視圖、實時監(jiān)控儀表盤等功能的定制化開發(fā)。
部署與運(yùn)維支持
設(shè)計容器化部署方案(Docker/Kubernetes),編寫自動化腳本(如GPU資源注冊、集群配置YAML)。
實現(xiàn)細(xì)粒度資源監(jiān)控(GPU利用率、Token吞吐量)和故障診斷工具,保障生產(chǎn)環(huán)境高可用。
安全與協(xié)作
開發(fā)RBAC權(quán)限控制、API密鑰管理模塊,確保企業(yè)級數(shù)據(jù)安全。
二、任職要求
學(xué)歷?:統(tǒng)招本科及以上學(xué)歷(碩士優(yōu)先),計算機(jī)科學(xué)與技術(shù)、軟件工程、人工智能、電子信息工程等相關(guān)專業(yè)。
5-7年工作經(jīng)驗,2年以上分布式系統(tǒng)或AI基礎(chǔ)設(shè)施開發(fā)經(jīng)驗,有GPU集群管理工具(如Ray/Slurm)或向量數(shù)據(jù)庫二次開發(fā)背景。
精通Rust(異步編程/內(nèi)存安全)、Python(SDK開發(fā))、java編程,熟悉C++/Go者優(yōu)先;
掌握Kubernetes調(diào)度原理,熟悉分布式推理架構(gòu)(如RDMA/NVLink優(yōu)化);
熟悉PyTorch/TensorFlow模型部署,了解LLM/VLM多模態(tài)技術(shù)棧
熟練使用DevOps工具(Docker/Git)、監(jiān)控系統(tǒng)(Prometheus/Grafana)
編程基礎(chǔ):精通Python,熟悉Go或Java,具備扎實的數(shù)據(jù)結(jié)構(gòu)和算法功底,能編寫高性能、可維護(hù)的代碼;
有GpuStack、Xinference等應(yīng)用或二次開發(fā)經(jīng)驗者優(yōu)先考慮

工作地點(diǎn)

南京雨花臺區(qū)澤天能源-西樓

職位發(fā)布者

宋女士/HR

剛剛活躍
立即溝通
公司Logo北京國簡科技有限公司
公司主頁