1 概述
1.1 相关研究
（1）两轮车自平衡（实物，Q 学习，4 状态，2 连续输出）
（2）障碍躲避（仿真，ASN，ACN，4 状态，2 连续输出）
（3）2 维欠驱动机器人低层 PD 参数优化（仿真，Sarsa，4 状态，3 连续输
出）
（4）8 自由度双足机器人控制（硕士论文，仿真+实物（未实现），BP+Q
学习，机器人等效三连杆（6 维）再等效成倒立摆（3 维），所以 3 状态，7242
离散输出（4 维））
（5）仿人机器人行走稳定性控制（硕士论文，仿真，SOGP 的模型无关强
化学习方法，）
（6）双足机器人稳定性分析（运动学模型、动力学模型、稳定性分析）
（7）Hardware of a Modular Legged Robot（实物，最少 2 自由度，可叠加，
使用 TRPO 和 DDPG，顶部摄像头做反馈，复位装置做复位，3 个状态（xy 坐标和
偏移角度），动作为伺服电机的角度，得分有三个部分（移动距离，方向，努力？
（电机输出角度与现在角度的差的负平方（尽量少的改变姿态）），最终得分相
加，权重分别是 0.1,0.01 和 0.01），使用了迁移学习）。
（8）移动机器人自主学习及导航控制（博士论文，实物，不过是轮式机器
人，先监督学习，后强化学习，未介绍的很详细，不过先监督学习的思路很好）
（9）一种双足机器人稳定起立方法研究（将机器人倒地到站立的过程分解
为 6 个状态，计算了每个状态各个自由度的坐标，分析了稳定性）
1.2 目的
使用双足机器人，实现 4 个目标，分别是原地爬行、站立、行走和奔跑，前
两个是基本目标，必须完成，后两个是扩展目标。三个移动的目标实现的效果均
为轨迹追踪或目标追踪。
2 机器人结构
机器人结构如图 1 所示，选用成熟 10 自由度双足机器人结构，使用舵机作
为动作单元，头顶有红帽子，便于摄像头识别高度，头部装有摄像头使得机器人
可以获得视觉信息，板载陀螺仪可以识别角速度和角加速度。
图 2 机器人结构图
