没有合适的资源?快使用搜索试试~ 我知道了~
为提高未知环境下机器人区域覆盖率,提出一种Q-学习覆盖算法(QLCA)。对环境建立栅格模型,在栅格地图中随机部署机器人和障碍位置。机器人根据QLCA自主学习得到的Qtable指导其后续的动作选择和路径规划,减少了机器人移动次数。从机器人数目、环境等方面分析了各类参数变化对该算法的影响。仿真实验结果表明:与随机选择覆盖算法对比,QLCA在完成覆盖的执行步数及冗余效果等方面均有明显优化。
资源推荐
资源详情
资源评论
第 卷 第 期
年 月
南京理工大学学报
收稿日期: 修回日期:
基金项目:国家自然科学基金
作者简介:常宝娴女讲师主要研究方向排队论智能信息处理和模式识别
通讯作者朱俊武男博士教授主要研究方向多 系统本体论及机制设计等
引文格式:常宝娴丁洁朱俊武等 未知环境下机器人 学习覆盖算法 南京理工大学学报
投稿网址:
未知环境下机器人 Q 学习覆盖算法
常宝娴
,丁 洁
,朱俊武
,章永龙
,
南京工业大学 理学院江苏 南京 扬州大学 信息工程学院江苏 扬州
南京航空航天大学 计算机科学与技术学院江苏 南京
摘 要:为提高未知环境下机器人区域覆盖率,提出一种 学习覆盖算法( )。 对环境建
立栅格模型,在栅格地图中随机部署机器人和障碍位置。 机器人根据 自主学习得到的
指导其后续的动作选择和路径规划,减少了机器人移动次数。 从机器人数目、环境等方
面分析了各类参数变化对该算法的影响。 仿真实验结果表明:与随机选择覆盖算法对比,
在完成覆盖的执行步数及冗余效果等方面均有明显优化。
关键词:未知环境;学习覆盖算法;机器人;区域覆盖;栅格模型
中图分类号: 文章编号:()
Robot Q-learning coverage algorithm in unknown environments
Abstract
Key words
总第 期 常宝娴 丁 洁 朱俊武 章永龙 未知环境下机器人 学习覆盖算法
机器人区域覆盖问题
是指携带有一定探测
范围的传感器激光声纳等 的单个或多个机器
人遍历一个含障区域内的自由空间的过程尽可能
地满足覆盖时间短重复路径少和未遍历区域小的
优化目标 区域覆盖是智能机器人研究的一个重
要课题被广泛用于工业学术和军事领域如无人
搜索救援机器人布雷扫雷农林业的播种耕作与
收割陆地海底的地形测绘和地球物理勘探数据
采集等
强化学习是机器学习的一个重要分
支其特点是利用试错的方法从学习者与环境的交
互过程中获得环境反馈的评价性信号来不断优化
自身行为策略强化学习最明显的优势在于自主学
习
已知环境情形下的覆盖算法研究已经取得
大量成果而在未知环境中移动机器人只有很少
的先验知识很难建立环境的精确数学模型 机器
人覆盖问题依赖对未知环境的感知进而选择后续
动作并对其路径进行规划和修正以期减少移动次
数及冗余并提高机器人最终的覆盖率 针对未知
环境下先验知识缺乏问题从任务区域的环境类型
即环境信息是否己知的角度将区域覆盖问题划分
为已知 区 域 覆盖和未 知 区 域 覆 盖 两 类前 者 如
等人
在已知的环境中找到联合起来可以覆
盖整个环境的监视点建立可视图把简化的可视图
根据机器人的数目划分成聚类分配给机器人每个
机器人在此基础上建立路径执行覆盖任务
等人
使用基于生成树的覆盖路径算法优点是具
有鲁棒性即使只有 个机器人能够工作也能完
成覆盖任务然而在实际情况中已知环境的情况
比较少如自然或人为灾难后的幸存者搜救外星
探索等都是在未知环境中进行的
提出根
据机器人覆盖半径和通信半径内其他机器人的情
况在靠近彼此以获得更多的信息减少覆盖冗余和
远离彼此获得更大的覆盖量这两者之间做出均衡
选择但是其算法中使用笛卡尔积计算机器人的共
同动作集计算量大易造成维数灾难 等人
提出了 算法在执行覆盖任务时机
器人对于空旷且简单的环境有更高的优先级剩下
的机器人难以覆盖的区域由人工协助完成但是在
大部分情况下人工协助很难实现 学习算法
能够使机器人在缺少先验知识的环境下自主学习
作出决策适用于实时性要求较高的任务
本文分析了现有的区域覆盖算法的优势与缺
点给出了基本定义并将问题形式化设计了一个
学习覆盖算法
并详 细 阐 述 了值函数 及 奖 惩 函 数 的 设
置通过仿真实验与分析对 和随机选择覆
盖 算 法
进行仿真实验对照
1 基本概念与问题的形式化
覆盖的环境由若干边长为 个单位的栅格组
成栅格地图在实验程序中用 个二维数组表示
数组的下标代表其在平面的位置 首先将机器人
和障碍随机地分布在栅格中设定环境中每个智
能体即移动机器人和障碍物 静态 都占 个栅
格 学习系统中的状态 S 为机器人在整个栅格环
境中所处的位置目标状态为整个区域 除障碍
区域都被标识为已覆盖时机器人所处的状态
移动机器人均可通过传感器得到障碍物环境边
界等相关信息若其上右下左四个方向的栅格中
不存在其他机器人或障碍则这四个方向的动作
组成了机器人的可用动作集根据机器人的覆盖
半径 μ 设置覆盖区域如图 所示灰色阴影部分
为机器人 i 的覆盖范围 在机器人的覆 盖范围
内若存在障碍 或是其他机器人除去障碍所
占据的栅格外被障碍挡住的区域也是机器人不
能覆盖到的根据机器人 i 与障碍 O 的位置设置
机器人的覆盖范围 当机器人 i 的覆盖半径 μ 为
时障碍 O 处于 i 的水平垂直对角线及其他
位置时不能被 i 覆盖的区域如图 中灰色阴影
部分所示
图 1 机器人覆盖半径示意图
定义 1 机器人区域覆盖问题
是 个六元组EISATR
其中E 为覆盖环境环境假定为 χ DD 大小的栅
格矩阵在 D
个方格中存在 O 个障碍物每个障
碍物完全填充 个栅格该栅格机器人不可达障
碍物占比 ω O / χI 是参加覆盖任务的机器人集
合S 是 个状态有限集通过二维数组存储网格
地图机器人的位置及障碍物位置可以通过数组下
剩余8页未读,继续阅读
资源评论
weixin_38674050
- 粉丝: 5
- 资源: 981
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 算法竞赛中的离散化 概念总结和基本操作全解
- 算法竞赛位运算(简单易懂)
- 常用一维二维 前缀和与差分算法模板总结
- SAR成像算法+后向投影(BP)算法+星载平台实测数据
- 横向循环焦点轮播图横向循环焦点轮播图横向循环焦点轮播图横向循环焦点轮播图横向循环焦点轮播图横向循环焦点轮播图横向循环焦点轮播图横向循环焦点轮播图横向循环焦点轮播图横向循环焦点轮播图横向循环焦点轮播图横
- 基于Java和HTML的留言墙、验证码、计算器基础项目设计源码
- 基于JAVA C/C++的嵌入式设备组网平台物联网框架设计源码
- 基于Java开发的高性能全文检索工具包jsearch设计源码
- 基于多语言技术的pt遨游助手手机版设计源码
- 基于若依框架的染云盘V1.0.2设计源码
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功