崗位職責(zé):
1、 前沿算法研究與開發(fā):
· 方向一(VLA): 研究、復(fù)現(xiàn)并創(chuàng)新基于視覺-語言-動(dòng)作(VLA)模型的端到端決策控制算法。訓(xùn)練能夠?qū)⒆匀徽Z言指令、多模態(tài)感知信息直接映射為機(jī)器人動(dòng)作或技能序列的大模型。
· 方向二(分層控制): 設(shè)計(jì)并實(shí)現(xiàn)機(jī)器人的分層決策與控制架構(gòu)(如:LLM+VLA+Low-level Policy的三層架構(gòu)),包括高層任務(wù)規(guī)劃、中層技能序列生成與低層閉環(huán)控制之間的接口與協(xié)調(diào)機(jī)制。
· 探索大型語言模型(LLM)或大型視覺-語言模型(LVLM)作為機(jī)器人“任務(wù)規(guī)劃大腦”的應(yīng)用,實(shí)現(xiàn)基于場景理解的零樣本(Zero-shot)或少樣本(Few-shot)任務(wù)分解與規(guī)劃。
2、 負(fù)責(zé)機(jī)器人具身操作任務(wù)的強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)算法設(shè)計(jì)、開發(fā)和優(yōu)化;
3、 仿真與真實(shí)世界驗(yàn)證:利用高逼真度仿真環(huán)境(如Isaac Sim, Unity, Mujoco)進(jìn)行大規(guī)模算法訓(xùn)練、測試和驗(yàn)證,特別是在長尾場景下的表現(xiàn);設(shè)計(jì)和實(shí)施Sim-to-Real遷移方案,解決真實(shí)世界中的不確定性等問題,確保算法的魯棒性和實(shí)用性。
4、 研究多模態(tài)學(xué)習(xí)方法,結(jié)合視覺、觸覺、力反饋提升機(jī)器人決策能力; 包括VLM的訓(xùn)練與微調(diào),實(shí)現(xiàn)模型實(shí)際場景的落地需求,多模態(tài)數(shù)據(jù)集的構(gòu)建、清洗等,提升算法性能和決策質(zhì)量等。
任職資格:
1、具備深度學(xué)習(xí)、計(jì)算機(jī)視覺和自然語言處理的扎實(shí)理論基礎(chǔ)和實(shí)踐經(jīng)驗(yàn);
2、優(yōu)秀的編程能力(Python, C++),熟練使用PyTorch或TensorFlow等深度學(xué)習(xí)框架;
3、有使用主流機(jī)器人仿真軟件(Isaac Sim, Gazebo, Mujoco等)和機(jī)器人操作系統(tǒng)(ROS/ROS2)的經(jīng)驗(yàn);
4、具備大型語言模型(LLM)或大模型應(yīng)用(如LangChain)的微調(diào)方法、增量訓(xùn)練方法或應(yīng)用開發(fā)經(jīng)驗(yàn),熟悉主流的多模態(tài)預(yù)訓(xùn)練基座,熟悉多模態(tài)對(duì)齊等關(guān)鍵技術(shù);
5、有實(shí)際機(jī)器人相關(guān)項(xiàng)目開發(fā)經(jīng)驗(yàn),并理解機(jī)器人系統(tǒng)的基本問題(狀態(tài)估計(jì)、運(yùn)動(dòng)規(guī)劃、控制等);
6、具備良好的團(tuán)隊(duì)合作精神和溝通能力,能夠通過團(tuán)隊(duì)協(xié)作推進(jìn)項(xiàng)目進(jìn)展。