机器人运动控制 · 强化学习 · 仿真到真机

张子尚Zishang Zhang

求职意向:运动控制算法 | 2027 届硕士应届生

电话 18938652592 邮箱 1530114009@qq.com

南方科技大学 · 智能制造与机器人(硕士,保研)

GPA 3.46/4 · 研究方向:强化学习(RL)、模型预测控制(MPC)、机器人运动控制、视觉/力觉地形感知

南方科技大学 · 机器人工程(学士)

GPA 3.6/4 · 机构/结构设计、机器人操作系统、建模与控制、机器学习

31 DoF人形全身关节辨识(实习)
3篇论文(RSS / ISRR / CoRL-W)
3类自研机器人平台
2项全国一等奖
Bennett 过约束四足 · 硕士课题
视觉高程建图 · 硕士课题
球动人形
球动人形 · MBZUAI
01 · 实习经历

逐际动力人形机器人系统辨识与全身运动控制

机器人算法实习生

因公司保密要求,实习项目仅展示文字描述,不展示内部视频、图表与数据。

系统辨识 · PACE / CMA-ES · 可辨识性分析

全身关节参数辨识

面向含并联关节的 31 DoF 人形机器人,基于 PACE/CMA-ES 辨识电机惯量与干摩擦;经 Fisher 信息分析固定不可辨识的粘滞摩擦(条件数 93.9→8.3),重设计分频段多轨迹激励,未参与拟合的验证段上仿真—真机位置误差降低 34%–42%。

  • 真机按设计轨迹扫频采集关节响应,仿真以相同指令回放
  • 参数敏感性 / 可辨识性分析,剔除数据无法确定的参数
  • 不同参数在不同频段“显形”:按频段拆分激励、分阶段拟合
  • 保留不参与拟合的验证段,检验泛化而非拟合精度
31 DoF全身关节辨识
↓34–42%验证段仿真—真机位置误差
直线电机执行器 · Sim2Real

直线电机并联踝 Sim-to-Real

辨识执行器时延(4.4 ms)、等效惯量与摩擦并写入仿真;修复 CSP 高频抖动后改用与仿真 PD 一致的 MIT 模式并加摩擦前馈,低速跟踪误差 ±1→±0.3 mm;同一 RL 策略真机与仿真推杆位置 R² 达 0.9994。

  • 选用与仿真 PD 执行器形式一致的底层控制模式,保证策略可直接上真机
  • 同一 RL 策略分别控制真机与仿真,逐级工况对比位置、速度与力
±0.3 mm低速跟踪误差
R² 0.9994同一策略真机 vs 仿真
全身模仿 · BeyondMimic

全身运动策略优化

基于 BeyondMimic 训练太极等全身模仿策略,引入关节位置跟踪项,仿真中身体/关节跟踪误差分别降低约 40%/70%;通过 sim2sim/sim2real 对比定位真机前移与下肢失稳根因(足底碰撞体失配、悬空辨识与触地负载工况不一致)。

  • 引入关节位置跟踪项,平衡身体姿态与局部关节跟踪
  • 使用辨识参数训练,sim2sim / sim2real 对比定位真机失稳原因
↓~40%身体跟踪误差(仿真)
↓~70%关节跟踪误差(仿真)
容错行走 · LocoFormer

电机失联容错行走

基于 LocoFormer 训练无需故障标志的容错策略,仿真中髋关节单电机失联跌倒率由 98.3% 降至 1.3%(膝/踝 24.4%→0.8%),并通过 MuJoCo sim2sim 验证。

  • 行走中电机突然失联,策略观测中没有故障标志,需从“动作—响应”不一致中自行判断
  • 覆盖膝、踝、髋、腰、头、手臂及多电机组合失联与恢复
98.3% → 1.3%髋单电机失联跌倒率(仿真)
02 · 硕士课题

Bennett 过约束四足强化学习控制与视觉 / 力觉地形感知

硕士课题

自研平台:外展式 Bennett 过约束肢体

Bennett 空间四杆闭链(连杆长 180 mm,扭角 120° / 60°)构成外展式肢体,形态上类似爬行动物的侧展腿;碳纤维管 + 铝合金件轻量化,足端集成视触觉力传感。

0.70 × 0.50 × 0.35 m长 × 宽 × 站立高
14.8 kg整机质量
RobStride 06准直驱关节电机
D435 + T265 + 4 × 足尖相机感知配置

真机多地形测试

RL 策略 Sim-to-Real · 室外 / 会场实测
真机翻越大石头:持续上下坡与不规则曲面
真机草地石板路:石板与草地交替、沿弯道行走
真机绿道上坡:台阶、木栈道、斜坡连续通过(部分 3× 速)
真机CoRL 2025 现场演示:地毯与大理石低摩擦地面(5× 速)
真机草坪全向行走:前后、侧向与转向
真机长楼梯:侧向上楼梯
早期早期样机:操场跑道、草地、人工草皮多地形测试
MPC · PPO · Sim-to-Real

MPC 运动控制 & RL Locomotion 真机部署

移植开源 Quadruped-PyMPC,在仿真中实现基于 SRBD 的 MPC;将闭链肢体等效为开链树并做关节映射,在 Isaac Lab 中基于 PPO 训练速度跟踪策略,以执行器网络替代理想 PD(力矩 RMSE 降低 63%),结合域随机化与教师—学生蒸馏完成 Sim-to-Real,真机最高速度约 1 m/s,通过草地、斜坡、楼梯及低摩擦地面测试。

关键环节
  • 闭链肢体等效为树形开链 + 关节映射,导入 Isaac Lab 并行训练
  • 执行器网络学习位置误差 / 速度历史 → 力矩,替代理想 PD:力矩 RMSE 0.755 → 0.279 N·m,相关系数 0.997
  • PACE 关节参数辨识(扫频 + 斜坡激励)同样迁移到四足平台
  • 域随机化(质心、摩擦、观测噪声)+ 特权教师—学生蒸馏
~1 m/s真机最高速度
4 类草地 / 斜坡 / 楼梯 / 低摩擦
↓63%执行器力矩 RMSE(vs 理想 PD)
Isaac Lab多地形 RL 行走策略
视觉感知 · 学习式建图

视觉高程建图与感知闭环

针对单帧深度视野受限与遮挡,自研双尺度 ConvGRU 时序高程建图网络,融合 D435 连续深度帧生成局部高程图,替代真值高度扫描接入 Locomotion 策略;仿真中六类地形闭环行走均未摔倒,未见地形建图 MAE 3.81 cm。

演进路线
  • 几何融合高程图:D435 风格深度退化建模,六地形走廊全图 MAE 9.48 mm(下台阶遮挡最难,13.36 mm)
  • 深度图 → 高程学生网络:特权高程教师 + 教师强制蒸馏;发现 gap 地形失效并分析原因
  • 学习式建图器 v2:测量锚定输出 + 双尺度 ConvGRU 记忆 + 分区损失,跑酷四地形全图 MAE 较 v1 ↓39.9%
  • 可部署教师:不依赖机身线速度;建图器 10 Hz + 策略 50 Hz 部署在 NUC(ONNX)
3.81 cm未见地形建图 MAE
↓39.9%建图器 v2 vs v1
6 / 6闭环仿真地形均未摔倒
Isaac Lab最终部署组合闭环:建图器输出驱动策略,下 / 上台阶、方块、起伏、正 / 倒斜坡六类地形(右侧为预测高程、真值与误差)
硬件 · 视触觉传感

视触觉足端设计

设计并集成视触觉足端传感器,获取足端接触状态与接触力信息,同步力觉数据、机器人本体状态与控制周期,为基于力觉的运动策略提供硬件与观测基础。

设计
  • 刚性壳体 + 软体多面体网络 + 可拆卸耐磨足底;内部相机观测 ArUco 标记形变
  • 多模态神经网络由形变解算六维力,同时重建足底形变场
  • 4 个足尖相机对焦扫描与内参标定(640 × 480)
  • 统一足尖安装坐标系 T,四条腿的力观测语义一致,便于策略学习
视触觉足尖的形变重建与受力可视化
力觉策略 · 双窄桥盲走

足端力觉盲走

构建双窄桥盲走任务,不使用视觉,仅凭本体状态与足端三维力历史决策;仿真中力觉策略成功率 96.5%,高于无力觉重训策略,测试时屏蔽力输入则降至约 1%,验证足端力对不可见地形判断的关键作用。

任务与训练
  • 双平行弯曲窄桥(难度 1:桥长 5.8 m、桥宽 0.2 m、横向偏移 ±0.2 m),足端稍偏即踩空
  • 执行器观测含 25 帧足端三维力历史;11 阶段课程,直桥 → 弯桥
  • 力传感器模型:30 Hz 采样、0–20 ms 延迟、2 N 噪声、±3 N 零漂
结论
  • 力信息越完整越好:无力觉 → 二值接触 +16 → 仅法向 +12 → 三维力 +8 个百分点(加摆动足约束组)
  • 部署时将力置零:成功率 95.4% → 1.0%,策略确实依赖足端力决策
  • 开启传感器模型后难度 1 仍有 89.5%
96.5%三维力策略(难度 1)
1.0%测试时屏蔽力输入
89.5%含传感器模型
不同触觉观测下的窄桥通过成功率(%,终点线判定,每档 200 回合)
三维力无力觉(本体感知)二值接触
难度 00.250.50.751
Isaac Lab带高度台阶的弯曲窄桥:仅凭本体状态与足端力历史盲走(训练录屏)
视觉 × 接触融合

视觉—接触地图修正

利用足端稳定接触获得的几何约束修正视觉高程图,显著降低接触区域高度误差;仿真中楼梯等非连续地形及平地环境下整体高程图 MAE 降低约 70%。

方法
  • 足端稳定接触 → 物理高度锚点;非破坏式修正层,原始视觉图始终保留
  • 局部平面生长:以锚点为种子在 15 cm 内拟合平面传播残差,遇台阶边缘停止
  • 足印代表性筛选:剔除台阶边缘子单元混叠造成的“有害写入”
~70%整体高程图 MAE 降幅
11.72 → 0.015直接写入单元 MAE(mm)
0.23% → 0.007%有害写入率(加筛选)

数值来自开发集 9–10 个随机种子、约 9000 帧;独立集 3 个种子未出现有害写入。

Isaac Lab台阶地形行走:上排为机器人 / 视觉高程 / 足端修正后高程,下排为真值与两者误差(误差显著减小)
03 · 交流项目

MBZUAI球动人形平衡控制与视觉语言导航

交流项目
欠驱动 · LQR / RL

欠驱动平衡控制(球动人形)

在 MuJoCo 中建立球动人形动力学模型,对比实现 LQR 与强化学习平衡控制,完成姿态稳定、手臂协同及遥操作接口集成,参与 Humanoids 课程实验平台开发;相关工作发表于 RSS 2026(asRoBallet)。

  • 单球驱动的欠驱动平衡:机身姿态与球体滚动强耦合
  • LQR 与 RL 两条路线对比;摩擦建模对 Sim2Real 影响显著(对应论文 asRoBallet)
  • 手臂协同与遥操作接口集成,作为 Humanoids 课程实验平台
RSS 2026asRoBallet · 第 4 作者
真机球动人形
MuJoCo平衡控制仿真
机身与手臂 CAD 及坐标系
真机室内平衡测试
VLN · 系统集成

视觉语言导航

将 InternNav 部署至自研四足并联调底层 Locomotion 接口,实现跨拐角、跨场景室内长路径目标搜索。

  • 上层:InternNav 根据语言指令与相机画面输出导航决策
  • 下层:将导航速度指令接入自研四足 RL Locomotion 策略
  • 室内跨拐角、跨场景的长路径目标搜索
自研平台:通用控制箱 + 过约束四足 / 球动人形等多种构型
04 · 本科毕设

轮足混合式过约束肢体本科毕业设计

本科毕设
建模 · RL 控制

机器人建模与 RL 控制

基于 Bennett 连杆设计过约束轮足机器人,并建立平面闭链、开链对照构型;在 Isaac Sim/Orbit 中基于 PPO 设计速度、航向、稳定性和能耗奖励,实现 6 类地形下全向运动,最高速度约 1 m/s。

  • 通过改变连杆扭转角 / 长度,由 Bennett 构型推导出平面闭链与开链对照构型
  • 4096 个并行环境、2000 次迭代训练;处理训练中落足点过于偏内、髋关节限位等问题
6 类地形全向运动
~1 m/s最高速度
3 种肢体构型对照
Isaac SimBennett 构型:金字塔台阶多地形训练(2024)
Isaac Sim平面闭链构型:同一地形对照(2024)
能效 · 构型对比

机构—控制耦合分析

在 1 m/s 正向与横向运动中对比三种构型的 COT、步态与电机功率,分析机构约束对能效的影响。

构型正向 COT横向 COT正向总功率横向总功率
Bennett 过约束0.7381.61094.8 W211.9 W
平面闭链0.7281.35891.4 W178.9 W
开链0.5140.92366.0 W116.0 W
  • 过约束构型落足点外展 → 髋关节力臂增大,髋电机功率显著更高(正向 44.1 W vs 开链 2.9 W)
  • 横向运动 COT 普遍高于正向:髋与同轴关节参与度上升
三种轮足混合型机器人 COT 随时间变化
正向行走时正视图下三种机器人步态
05 · 论文发表

论文及专利

RSS 2026第 4 作者

asRoBallet: Closing the Sim2Real Gap via Friction-Aware Reinforcement Learning for Underactuated Spherical Dynamics

摩擦感知 RL,解决欠驱动球形动力学的 Sim2Real 迁移 · 对应 MBZUAI 球动人形工作

查看论文
ISRR 2024第 4 作者 · 最佳论文合集

Overconstrained Locomotion

过约束肢体的足式运动 · 对应 Bennett 过约束四足平台(期刊扩展版投稿 IJRR)

查看论文
CoRL 2025研讨会 · 第 4 作者

Towards Universal Action Embodiment with MagiClaw

Workshop Accepted

查看论文
发明专利第一发明人

一种网球发射机构

已授权

06 · 获奖与技能

竞赛获奖 · 技能特长

竞赛获奖及奖学金

  • RoboMaster 全国一等奖(2023)、全国三等奖(2022)
  • ROBOCON 全国一等奖(2024)
  • 南方科技大学一等奖学金(2024)、二等奖学金(2025)
  • 本科优秀毕业生(2024)

技能特长

算法与控制
PPOMPCLQR运动模仿(BeyondMimic / AMP)系统辨识(PACE / CMA-ES)域随机化与师生蒸馏
感知与导航
视觉高程建图视触觉 / 足端力感知VLN(InternNav 部署)
仿真与部署
Isaac Sim / LabMuJoCoROS 2ONNXEtherCAT 电机控制(CSP / MIT)
编程与工程
PythonC++PyTorchLinuxGit