没有合适的资源?快使用搜索试试~ 我知道了~
第八章 群体智能.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 17 浏览量
2022-11-28
23:29:48
上传
评论
收藏 200KB DOCX 举报
温馨提示
试读
12页
...
资源推荐
资源详情
资源评论
第八章 群智能
通过本书前面各章所介绍的人工智能实现途径所实现的均是单个个体的智能。虽然在进
化主义中,牵涉到群体的进化,但最终在解决问题时依靠的还是单个个体的能力。群智能则
不同,它通过多个智能实体之间的协作来解决问题,利用的是群体的智慧,而不是单个个体
的能力。
目前,在群智能上主要包括两大类工作。一类是多智能体系统,利用多个智能体之间的
协调和协作,完成单智能体不能完成或难以有效完成的任务。另一类是群智能优化算法。与
进化计算所要解决的问题类似,群智能优化算法也是用于搜索问题的全局最优解,并且其中
同样体现了仿生的思想,它模拟了生物群体通过相互协作解决复杂问题的行为方式。目前,
群智能优化算法主要包括蚁群优化算法和粒子群优化算法。其中,蚁群优化算法模拟了蚂蚁
群体觅食的行为方式,粒子群优化算法则模拟了鸟群的群体性行为。
本章首先介绍多智能体系统中核心的协调与协作机制以及相应的强化学习方法,然后阐
述蚁群优化算法和粒子群优化算法的基本原理。
8.1 多智能体系统
多智能体系统是在单智能体基础上发展起来的,它通过多个智能体相互之间的协调和协
作,来解决单个智能体不能解决或者难以有效解决的复杂问题。其中,智能体之间的协调和
协作是多智能体系统中的核心问题,有效的协调与协作方法是多智能体系统中的主要设计内
容。
8.1.1 智能体之间的通信机制
为了进行协调和协作,智能体之间需要彼此通信、交换信息。目前,智能体之间的主要
通信机制包括黑板系统和消息系统。
1. 黑板系统
黑板是黑板系统中的公共信息存储和交流区。在黑板系统中,各智能体之间不发生直接
通信,而是通过黑板交换数据、信息和知识。智能体在需要时按照自身权限访问黑板,确定
是否有新的信息,或者向黑板上添加自己的信息。
黑板系统的主要问题是当系统中存在很多智能体时,黑板上的数据量会按指数率增长,
难以进行高效的信息存储和检索。解决这一问题的一种思路是为每个智能体在黑板上分配一
个单独的区域。
2. 消息系统
消息通信机制是实现灵活复杂的协调策略的基础。
相对于黑板系统,消息系统的通信方式更为灵活。在消息系统中,任意两个智能体之间
可直接通过消息交换数据、信息和知识。一个智能体可以向另外一个智能体发送消息,也可
以将消息广播给多个智能体。发送消息的智能体被称为发送者,接受消息的智能体被称为接
受者。发送者在发送消息时指定消息的接受者,除了接受者以外的其它智能体不能读取消息。
为了支持消息系统,消息的发送和接收需遵守预先定义的通信语言。目前,智能体通信
语言的主要理论基础是英国哲学家和语言学家奥斯汀提出的言语行为理论。言语行为理论认
为:通信语言是一种动作,和物理上的动作一样,发言者的目的是改变世界的状态,通常是
1
指听众的某种心智状态。在智能体通信语言的研究中,言语行为理论主要被用来研究主体之
间可以交互的信息类型。一种通用的分类方式是将言语行为分为表示型和知识型,还可进一
步细分为断言型、指示型、承诺型、允许型、禁止型、声明型等类型。
在言语行为理论基础上,目前国际上有一定影响的智能体通信语言包括美国国防部高级
研究计 划署( Advanced research project agency, ARPA)提出的知识查询与操纵 语言
(Knowledge Query and Manipulation Language, KQML)、知识交换格式( Knowledge
Interchange Format, KIF)和欧洲智能体协会(foundation for intelligent physical agents,FIPA)
提出的智能体通信语言(Agent Communication Language,ACL)语言。这里主要介绍 KQML
语言的基本内容。KQML 分为通信、消息和内容三个层次。其中通信层是通信参数协议;
消息层规定与消息有关的言语行为的类型,相应的消息被称为动作表达式。这些动作表达式
主要是从言语行为理论演化而来的;内容层则规定了消息的内容。在 KQML 中,除了可以
通过发送-接受方式进行智能体之间的通信外,还提供了基于通信服务器的消息交换方式。
通信服务器类似于黑板系统中的黑板,但是其功能比黑板丰富,它将搜索信息的智能体与提
供信息的智能体连接起来。
8.1.2 智能体之间的协调策略
智能体之间的协调是指在开放、动态的多智能系统环境下,如何协调不同智能体之间的
行为,解决其在目标规划、资源利用等方面可能存在的冲突,以保证多智能系统的正常运行;
或者使各智能体以一致、和谐的方式共同工作。协调的一个主要方面是避免智能体的死锁和
活锁问题。死锁是指各智能体互相等待,无法进入下一步工作;活锁是指智能体虽在不断工
作,却无任何进展。
目前,多智能体系统的协调策略主要分为四种:
1. 组织型:提供一个专门用于协调的、全面了解系统状况的智能体,由它按照某种特
定的结构组织智能体之间的协调。
2. 合同型:通过订立合同的方式进行协调。在此过程中,每个智能体兼有管理者和投
标者的双重职能。当智能体无法用本地资源解决问题时,将问题分解为若干子问题,并寻找
合适的智能体来解决这些子问题。子任务分配通过投标和签订合同方式实现。
3. 规划型:通过规划智能体的行为实现协调,消除彼此间的冲突。具体分为集中式规
划和分布式规划两种方式。在集中式规划方式中,各智能体将自己的规划发送给一个集中的
协调者,由该协调者分析不同智能体的行为,判断并解决其中的潜在冲突;在分布式规划方
式中,各智能体管理自己的规划,通过通信了解其他智能体的规划,并根据需要修改各自的
规划,直到消除彼此间的冲突为止。
4. 法规型:为智能体制定一套行为法规,要求每个智能体必须遵守。这些法规一方面
会限制每个智能体所能采取的行动,另一方面也可以使智能体在确定行动规划时,可以确定
其他智能体的行为方式,从而确保智能体之间没有冲突。法规型适合于空中运输控制或城市
交通控制等具有明确法规形式的多智能体系统。
8.1.3 智能体之间的协作策略
智能体之间的协作是指如何在不同智能体之间建立合作关系,以完成某一共同任务。智
能体之间的协调是其协作的基础,而协作则是协调的主要目的。有时,协调与协作是难以明
确区分的,如上述合同式协调方式也可认为是一种协作过程。根据智能体之间的协作方式,
可将多智能体系统划分为两种类型:
1. 合作型:各智能体为实现系统的共同利益而相互协作,设计目标是系统的整体性能,
2
而不是针对其中单个智能体。
2. 竞争型:各智能体都是为着扩大自身利益而工作。为实现自身利益,各智能体可以
与其它智能体达成一致,但也可能没有协作关系,甚至可能存在竞争和互斥关系。
目前,智能体之间的协作主要通过两条途径来解决。一条途径是将博弈论、经典力学
理论中有关多实体行为的方法和技术用于智能体之间的协作;另一条途径是基于智能体的目
标、意图、规划等心智状态来研究智能体之间的协作。后一类方法应用更为广泛。一些典型
的协作方法包括部分全局规划、基于约束传播的规划、基于生态学的协作与规划、基于博弈
论的协作与规划、基于意图的协商和基于范例推理的合同网协商等
8.1.4 多智能体强化学习
对于多智能体的强化学习,存在多种不同的分类方法。一种分类方法是根据学习的组织
方式,将多智能体学习划分为三类:乘积形式(multiplication)、分割形式(division)和交
互形式(interaction) 。其中,乘积形式是将多智能体系统作为一个单独的学习型智能体;
[ 92]
在分割形式中,每个智能体拥有独立的强化学习机制,并且不与其它智能体进行交互;在交
互形式中,每个智能体有独立的强化学习机制,但通过与其它智能体的适当交互加快学习过
程。另一种分类方法是根据智能体之间的协作方式,将多智能体强化学习方法划分为合作型
学习、竞争型学习和半竞争型学习三类 。下面按后一种分类方法介绍多智能体的强化学
[77]
习。
1. 合作型多智能体强化学习
在合作型多智能体强化学习中,各智能体的目标与整体系统的目标是一致的。因此。可
以将多智能体系统作为一个单智能体,多智能体系统的行为是其中所有单智能体的联合行
为,在此基础上采用单智能体的强化学习方法进行合作型学习。
2. 竞争型多智能体强化学习
在竞争型多智能体系统中,每个智能体目标与其它智能体目标是完全相反的。由于某一
智能体所获得的奖励值取决于其它智能体的动作,因此传统的单智能体强化学习方法不再适
用。根据博弈论,这种竞争型关系对应于零和决策,因此最简单的解决方法是极大极小策略。
以两个竞争型智能体为例,对于其中一个智能体,其最优策略应是在另一智能体采取对于当
前智能体而言最坏动作的情况下,选择奖励值最大的动作。当采用 Q-学习方法时,极大极
小策略可形式化地表示为:
V s max minQ s,a,b .
(8-1)
aA b
B
3. 半竞争型多智能体强化学习
在很多实际多智能体系统中,单个智能体所得奖励值并不是其它智能体所得奖励值的负
数,即不是非零和决策问题,从而不能应用极大极小策略获得最优解。本质上非零和决策问
题更能反映多智能体系统中个体理性与群体理性发生冲突的本质。有学者利用元博弈理论,
在考虑智能体自身愿望的基础上,通过预测对手的策略来修正自己的策略。
8.2 蚁群优化算法
蚁群优化算法是由意大利学者 M. 多利格在二十世纪九十年代提出的一种模拟蚂蚁群
3
剩余11页未读,继续阅读
资源评论
不吃鸳鸯锅
- 粉丝: 8235
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功