崗位職責(zé):
1、負責(zé)VLA(視覺-語言-行動)多模態(tài)大模型在自動駕駛和機器人場景的前沿算法研究,涵蓋場景理解、語義引導(dǎo)決策、時空建模等核心能力;
2、主導(dǎo)VLA端到端大模型的開發(fā)與優(yōu)化,包括模型架構(gòu)設(shè)計、數(shù)據(jù)處理、訓(xùn)練優(yōu)化及車端部署,優(yōu)化模型效率和精度,滿足自動駕駛場景需求;
3、設(shè)計和優(yōu)化多模態(tài)數(shù)據(jù)采集、清洗及增強策略,構(gòu)建高質(zhì)量訓(xùn)練數(shù)據(jù)集。
任職要求:
1、計算機科學(xué)、人工智能、機器人學(xué)等相關(guān)專業(yè)碩士及以上學(xué)歷,熟悉DeepSpeed、FSDP、PyTorch等深度學(xué)習(xí)框架及分布式訓(xùn)練技術(shù)。熟悉機器人模仿學(xué)習(xí)、強化學(xué)習(xí)理論。
2、熟悉Transformer、Diffusion Model等架構(gòu),具備多模態(tài)大模型調(diào)優(yōu)經(jīng)驗,熟悉數(shù)字孿生相關(guān)技術(shù),熟悉多模態(tài)數(shù)據(jù)錄制、回放等方法;
3、了解機器人運動控制(PID/MPC)、路徑規(guī)劃算法(A*/RRT/DWA)、運動/軌跡預(yù)測算法等,有自動駕駛數(shù)據(jù)集(nuScenes/Waymo)或機器人仿真平臺(Isaac Sim)經(jīng)驗優(yōu)先;
4、熟悉模型壓縮、量化部署技術(shù),有ONNX、TensorRT相關(guān)框架和開發(fā)工具使用經(jīng)驗優(yōu)先。