基于积分强化学习的轮腿机器人姿态平衡控制*

doi:10.16731/j.cnki.1671-3133.2026.08.008

现代制造工程 ›› 2026, Vol. 551 ›› Issue (8): 59-67.doi: 10.16731/j.cnki.1671-3133.2026.08.008

基于积分强化学习的轮腿机器人姿态平衡控制^*

鲁金亮^1,2, 皮明^1,2, 杨涛^1,2, 张良^2,3, 曾国鑫^1,2

1 西南科技大学信息与控制工程学院,绵阳 621000;
2 特殊环境机器人技术四川重点实验室,绵阳 621000;
3 绵阳师范学院机电工程学院,绵阳 621000

收稿日期:2025-06-25 出版日期:2026-08-18 发布日期:2026-09-01
通讯作者: 皮明,博士,特聘副教授,主要研究方向为智能机器人控制。 E-mail:756408918@qq.com
作者简介:鲁金亮,硕士研究生,主要研究方向为机器人控制。杨涛,博士,教授,主要研究方向为机电系统仿真。张良,硕士,副教授,主要研究方向为机电系统建模与仿真。曾国鑫,硕士研究生,主要研究方向为机器人控制。E-mail:1912693105@qq.com
基金资助:
^*四川省重点研发计划项目(2024YFFK0039);西南科技大学博士基金项目(21zx7142)

Posture balance control of wheel-legged robots based on integral reinforcement learning

LU Jinliang^1,2, PI Ming^1,2, YANG Tao^1,2, ZHANG Liang^2,3, ZENG Guoxin^1,2

1 School of Information and Control Engineering,Southwest University of Science and Technology,Mianyang 621000,China;
2 Key Laboratory of Sichuan Province for Robot Technology Used for Special Environment,Mianyang 621000,China;
3 School of Mechanical and Electrical Engineering,Mianyang Normal University,Mianyang 621000,China

Received:2025-06-25 Online:2026-08-18 Published:2026-09-01

摘要/Abstract

摘要： 针对轮腿机器人运动过程中的姿态平衡,对运动学解耦后线性化的状态方程引入零力矩点(Zero Moment Point,ZMP)稳定性判据结合积分强化学习(Integral Reinforcement Learning,IRL)的在线最优控制实现机器人直立姿态平衡与行走稳定性。每隔固定步长对控制结果积分,并通过最小二乘法拟合代价函数的Riccati矩阵P,优化在线策略。实验结果表明,在收敛速度和稳态误差等方面IRL控制均优于固定最优控制。由于线性化后的模型并未涵盖非线性因素,提出一种串级模糊PID控制,ADAMS与MATLAB联合仿真表明,串级模糊PID控制姿态角以及速度(稳态误差减少38.46 %)方面显著优于PID。

关键词: 轮腿机器人, 零力矩点, 最优控制, 积分强化学习, 串级模糊PID控制

Abstract: To address posture balance control of wheel-legged robots in motion, the Zero Moment Point (ZMP) stability criterion and online optimal control based on Integral Reinforcement Learning (IRL) were integrated with the linearized state equation obtained after kinematic decoupling. This integrated framework achieved upright posture balance and stable walking. Control inputs were integrated at fixed time intervals,and the Riccati matrix P of the cost function was fitted via least squares to optimize the online control policy. Experimental results demonstrate that IRL control outperforms fixed-gain optimal control in terms of convergence speed and steady-state error. To address nonlinear factors unaccounted for in the linearized model,a cascaded fuzzy PID controller was proposed. ADAMS and MATLAB co-simulation results confirm that the cascaded fuzzy PID controller significantly outperforms conventional PID control in regulating posture angle and velocity tracking, achieving a 38.46 % reduction in steady-state error.

Key words: wheel-legged robot, Zero-Moment Point (ZMP), optimal control, Integral Reinforcement Learning (IRL), cascaded fuzzy PID control

中图分类号:

TP242
TP18

鲁金亮, 皮明, 杨涛, 张良, 曾国鑫. 基于积分强化学习的轮腿机器人姿态平衡控制^*[J]. 现代制造工程, 2026, 551(8): 59-67.

LU Jinliang, PI Ming, YANG Tao, ZHANG Liang, ZENG Guoxin. Posture balance control of wheel-legged robots based on integral reinforcement learning[J]. Modern Manufacturing Engineering, 2026, 551(8): 59-67.

参考文献

[1] ZHU Q,GUAN X,YU B,et al.Overview of structure and drive for wheel-legged robots[J]. Robotics and Autonomous Systems,2024,181:104777.
[2] 宋康. 复杂救援工况下的轮履腿机器人姿态的感知、预测及控制[D]. 北京:北京邮电大学,2023.
[3] 陈鑫卓. 变胞助残轮腿复合机器人设计与研究[D]. 沈阳:沈阳工业大学,2023.
[4] 孙俊凯. 轮腿式星表探测机器人运动规划与控制算法研究[D]. 长春:吉林大学,2023.
[5] 王哲,孟广耀,孙英暖,等. 一种轮腿可变式巡查机器人的设计与分析[J]. 中国科技论文,2021,16(10):1132-1138.
[6] HARRISON S J.Human Odometry with a Two-Legged Hopping Gait:A Test of the Gait Symmetry Theory[J].Ecological Psychology,2020,32(1):58-78.
[7] WANG S,CUI L,ZHANG J,et al. Balance control of a novel wheel-legged robot:Design and Experiments[C]//Proceedings of the International Conference on Robotics and Automation.[S.l.]:[s.n.],2021:6782-6788.
[8] CUI L,WANG S,ZHANG J,et al. Learning-Based Balance Control of Wheel Legged Robots [J]. IEEE Robotics and Automation Letters,2021,6(4):7667-7674.
[9] 张庆,潘烤鑫,王振宇,等. 复杂地形下仿生轮腿式机器人位姿控制研究[J]. 农业机械学报,2024,55(6):380-391,403.
[10] 李旭. 液压驱动轮腿机器人设计与跳跃控制研究[D]. 哈尔滨:哈尔滨工业大学,2022.
[11] 刘迪. 基于人体动作捕获的机器人姿态控制系统研究[D]. 长春:吉林大学,2019.
[12] 叶梁杰,杨忠,卓浩泽,等. 基于模型预测控制的轮腿式自平衡机器人运动控制方法[J]. 应用科技,2024,51(5):134-140.
[13] PENG F,DING L,LI Z, et al. Optimal balancing control of bipedal robots using reinforcement learning[C]// Proceedings of the 12th World Congress on Intelligent Control and Automation (WCICA). Guilin:IEEE,2016:2186-2191.
[14] 谢景硕,韩立金,刘辉,等. 串联式轮腿机器人姿态控制方法[J]. 兵工学报,2025,46(2):78-92.
[15] 倪利伟,张红松,马宗正,等. 基于模型降维的轮腿机器人姿态控制试验[J]. 吉林大学学报(工学版),2025(6):1-9.
[16] 张中华. 不平坦地形中轮腿机器人的姿态优化与控制研究[D]. 西安:长安大学,2023.
[17] 付苗苗,沈红伟. 基于激光与视觉感知的机器人姿态自动控制研究[J]. 激光杂志,2021,42(5):138-142.
[18] 姚建均,张宜坤,柯运,等. 基于模型预测控制的机器人姿态控制策略研究[J]. 机械工程学报,2024,60(19):88-100.
[19] 王泽龙,张志安. 双足轮腿机器人跳跃运动规划与仿真[J].自动化技术与应用,2026,45(4):122-128.
[20] 毛翊超. 采用串联弹性驱动器的仿生腿足式机器人跳跃与自适应平衡控制研究[D]. 杭州:浙江大学,2018.
[21] TIEZHENG G,JINHUI L,HAONAN L,et al. Design and dynamic analysis of jumping wheel-legged robot in complex terrain environment [J].Frontiers in Neurorobotics,2022,16:1066714.
[22] 张国庆,崔建峰,王鑫,等. 轮腿机器人发展与研究综述[J]. 机器人技术与应用,2024(2):14-21.
[23] 崔择民. 液压双腿-轮机器人系统设计与控制方法研究[D]. 济南:山东大学,2022.

基于积分强化学习的轮腿机器人姿态平衡控制^*

Posture balance control of wheel-legged robots based on integral reinforcement learning

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 6

编辑推荐

Metrics

[1]	周倩;肖本贤;倪有源;肖献强. 基于零力矩点滑模预测控制的电动前移式叉车稳定性研究[J]. 现代制造工程, 2023, 509(2): 55-63.
[2]	王洪波;姚嘉凌. 桶装水码垛机器人关节空间最优运动控制[J]. 现代制造工程, 2023, 518(11): 33-39.
[3]	冯琦，曹付义，王越航，席志强. 基于LQR的HMT模式切换品质优化研究[J]. 现代制造工程, 2022, 496(1): 44-51.
[4]	冷怀方, 孟利波, 合烨. 采用压电叠堆的电主轴振动主动控制研究[J]. 现代制造工程, 2017, 444(9): 74-80.
[5]	秦录芳, 王加伟, 孙涛. 风力机变桨距的线性二次型最优控制[J]. 现代制造工程, 2017, 439(4): 133-137.
[6]	李刚, 赵德阳, 雷永强, 马高峰. 四轮独驱电动车主动转向与横摆力矩集成控制[J]. 现代制造工程, 2017, 445(10): 54-58.