政策导向型多Agent协同系统研究，李正通，胡军，为了多Agent协同过程可控、有序的进行，克服传统多Agent系统灵活有余而可控制性不足的缺点，本文提出以动态约束和调整系统行为的政��
中国科花论义在 垓行为踺 4gn蚶S.(P.B、A) 图1政策导向维模型示意图 在虚拟社区中多层次政策对多协同行为的导向机制 多 Agent协同是指多个 Agent通过协调各自的行为,围绕共同的目标而相互作用的合作过 程。在协同过程中,利用政策作为 Agent协同的导向和调控的主要于段,在政策的规范和 驱动下, Agent执行规定的协同动作,推动协同的进稈,并且维持协同进稈的正常进行。 在多 Agent,虚拟社区中, Agent的行为不仅受到 Agent拥有者的约束,也受到组织管理员 的约束,因此,在社区中存在两种类型政策—个体政策和组织政策。个体政策旨在保证, 在 Agent实施协同行为的同时,个体 Agent的拥有者对 agent行为的控制。组织政策旨在保证 Agen在组织中的叫控性,以达到整个系统运作能够给予人为的控制,其影响范围比个伓政 更大,更广,更有强制性。这两层政策引导多 Agent协同过程如下: 佟2多 Agent协同的一般过程框架 如图2所示,可以看岀,在协同过程中, Agent的行为受个体政策和组织政策的共同影 响。在协同健立阶段,参与协同的 Agent先探测是否有组织政策需要执行,再探测是否有个 体政策执行。在此阶段中,可能岀现各个政策行为之间的冲突,我们采取组织政策优先的原 则,并采用优先级和最近生效时间优先原则,过滤无效政策行为,最终形成无冲突的协作行 为,至此, Agent执行该协作行为,使得制定的政策可以调控协同过程,维持协同进程的正 常进行,即协同行为按照政策的规定有序进行。 原型系统的实现 依照上述原理,我们建立一个以企业虚拟联盟为应用背景的多主体系统。这个系统主要 有4个特点:1)用政策表达用户的动态商业需求(策睹),并通过政策管理框架自动转换后以约 束 Agent的行为;2)在协同执行过程中,政策凋控 AgentI的行为,维持协同进程的正常进行; 3)将改策的管理框架与 Agent术相结合,运用相关本体知识制定和精化政策,参与和影响 Agent的决策过程,达到人为地干预 Agent行为的过程。4)通过动态更新政策规则来改变 Agent 的行为,无需改变系统的软件配置和编码。 中国科花论义在 系统的体系结构 本系统的底层平台是基于JADE( Java Agent Development Framework),该平台具有响 应快、基于行为的设计流程等优点,是日前应用较为广泛的 Agent开发平台。利用JADE 提供的消息通信机制以及黄页注册服务,完成 Agent的底层通信。系统体系结构可分为5个 层次: Agent层、人为控制层,中间服务层,社区层和政策层。系统的体系结构图如下: 科 补 管理 碜数 服条 监督 仲控 登陆 图3系统体系结构 其中, Agent层包括 Agent本身的自治模块,基于底层平台JADE的通信模块,以及接 收到政策执行指令后,执行相关政策行为的政策执行模块和 Agent之间的协同模块。 人为控制层是提供给用户的接口,提供一些参数设定操作,比如个人信息,产品信息等, 还包括控制^gent行为的个体政策模块,以及查看 Agent协作过程中的进度,已可以随时控 制 Agent的行为走向 中间服冬层提供一系列的系统服务。包括中介服务,用于查找相关 Agent的物理地址 以及信誉值管理;监督服务,作为一个监督 Agent是否政策执行政策的一个服务,可以接收 其他 Agent的举报;仲裁服务,提供惩罚奖励 Agent的操作 社区层,包括社区的管模块,即社区的创建和删除;社区用户管理模块,维护社区用 户的信息。社区政策管理模块,提供对社区政策的维护操作。 政策层,包括政策管理模玦和政策部署模块。其中政策管理模块是政管理平台的基础, 包括政策的制定,更新和删除操作。政策部署模块是政策执行的基础,包括政策精化,使得 高层政策到底层政策的转变;政策冲突解决,检测和处理政策之间的冲突;政策执行,将政 策指令发至社区,调控社区中 Agent的行为。 另外,系统还提供用户接口,以使用户实时跟踪 Agent动态,并给与个人政策指导。 系统功能子结构的描述和实现 政策层 中国科花论义在 本系统中政策结构如图4所示,采用本体语言OwL来表示政策,如图5所示,基」OwL 语言基础,采用规范的格式对政策进行描述,不仅可以使得基于政策的系统管理能够利用本 体的在语义方面的优势更好地对系统进行管理,并且可以为政策部署模块做准备。 <Policy rdf: ID="P1" Chastrigger rdf Chassubject rdr resource"tagent 1"/ jcct rdf 机 agent2" 孑s日 ehavior rdf:e5urce=" bEhavior set" <hasTarget rdf:resource="P Target !> <hasConnent rdf: t'esDurce-P Connent 1> </policy> 图4政策的定义模板 在政策部岧实施过程中,利用政策本伾领域的相关概念,对实施政策进行冲突检测,并 利用优先级和最新生效时间时间优先原则,屏蔽无效政策,以使政策指导的确定性。由于人 为制定出来的政策是抽象的, Agent不可以直接执行。本系统利用文献[8]的政策精化算法, 将抽象政策精化为可实施的只体规则,并利用政策执行子模块,把这些只体规则映射到一个 行为中。此过程采用接∏与具体实现相分离的思想,即在政中展现接∏(政策与什么行为 关联),政策表明了接凵可实现什么功能,功能的具体实现过程不用理会。行为是接凵的实 际实现者,实现具体的功能。并且利用编程语言Java的特性,采用类动态加载的方式执 行行为。如有一个组织政策:“在6月16号到6月26号,所有商家必须对信誉值不低于4 的顾客进行所有商品打9折的打折活动”,该政策采用OwL描述主要部分如下图 M/Trig df: da:atFe"ht=p t rdf e datat C1/又配 Schema#主 女+(db at ype= 图5政簧实例 通过政策精化模块分析得到,该政策主体是 policyAgent,政策客体是商家Ageηt,政策 描述是打折活动,政策的作用对象是价格,政策要求 Agent采取的行为是对价格打9折,政 策触发器是日期到6月16号到6月26号之间,政策条件是顾客信誉值不低于4,并且优先级 为3。这样经过政策的代码变换以及Java反射机制,可以把政策映射到一个Java行为实现 类中,并通过Java类动态加机制,使得 Agent直接添加该行为执行 政策层通过政策管理模κ动态更新政策规则,再通过政策部署实施模块,生成 Agent 可以直接执行的行为,这样 Agent只需要变更自己的行为就可以体现政策的要求,而无需改 变系统的软件配置和编码,并且对于政策规则的修改具冇扩展性。 中国科花论义在 社区及用户管理 在系统中,各个社区以角色划分,比如电脑商家为一社区,配件供给商为一社区,利用 支撑平台JADE提供的黄页服务,为各个社区提供唯一的社区编号,以便 Agent通过中介服 务加入该社区这时,组织政策对社区 Agent的约束可以通过中介机构取得相应社区的 Agent 物理地址,进而发送政策执行指令。 并且,用户可以在不同的社区中创建不同的 Agent,以实现在不同社区拥有的功能。用 户进入社区之后,系统自动创建该用户在此社区的 Agent,并加载社区(组织)政策执行,在 之后的社区协作过程中,有两种类型的政策约束该 Agent的行为,即个体政策和社区(组织) 政策。具体流程如下 陆成J 氵!朋人 命 图6用户脊陆社区流程 支撑平台结构 JADE是个完全用JAVA语言实现的个软件框架.它通过个遵守FPA(The Foundation for Intelligent Physical Agents)规沱的中间件和些支持调试和部署过程的图形⊥ 具简化了多 Agent系统的实现。利用JAD框架本身的开放性,使得我们很容易对JADE进 行定制化,极大方便了本系统的开发。 另外, Agent通信是JADE最基本的特征,且依照FPA说明文档实现。JADE的通信机 制是基于异步消息传送。因此,每个 Agent有一个“邮箱盒”( Agent消息队列),在这里, JADE运行时发送山其他 Agent发过来的消息。无论何时一则消息发送到邮箱盒消息队列里, 正在接收的 Agent都被通知。但是, Agent何时,或是否,从队列中获取消息进行处理由 Agent的改计者来决定。该通信机制很符合本系统的特性,并且利用JADE提供的黄注册 机制,可以很容易地对系统中的Agen进行管坦。 实例分析 基于该多 Agent协同系统,我们实现了一个网上电脑定购交易实例。该实例根据 Agent 角色为三个社区:顾客社区、电脑商家社区和配件供给商社区。电脑可按顾客的定购并进行 组装,电脑组装完毕后,电脑商家将货提交给顾客。并且卖方即电脑商家在零配件不是的情 况卜可向第三方靴件供给商求购配件。 实例的具体情景如下:顾客A要通过网上定制一台电脑,分别就电脑的各个主要部件 中国科花论义在 作了些规格要求,如机箱,主板,显示器,硬盘,CPU等。电脑商家B、C、D响应了顾 客A的请求,表示愿意进行交易。在没有政策应用的情况下,各个商家以自己定义的价格 给出价格,然后顾客选择合适的商家进行交易。这样商家和顾客的行为各自为政,就不能灵 活的进行调控。而在冇政策的情況下,如给顾客A制定一个个体政策:“只与信誉值大于3 的商家交易”;给商家B制定一个个体政策:“只于信誉值高于8的客户交易,并且价格打 9.5折”,商家C,D没有制定个体政策。如果电脑商家社区管理员制定一个电脑商家社区政 策:“6月16号到6月26号所有商家必须对所有商品进行9折的打折活动”,则系统在此时 间段内会发送政策执行指令给商家 Agents,各个茼家 Agent在接受到政策指令时切换执行该 政策行为,由于商家B的个体政策与组织政策冲突,则采用组织政策优先原则,屏蔽个体 政策行为。顾客A首先定制所求购电脑信息,向中介机构查询电脑商家 Agent的物理地址, 并且依据个体政策的指导对电脑崗家进行过滤,然后向符合条件的各个商家发布求购信息, 商家B、C、D在组织政策的指导下对所求购产品打9折并返回价格,此时顾客A根据价格 最低选择父易商家进行父易,并完成父易目标。 在交易过程中,假设商家发觉库存不足,以致不能正常交易,则该商家将求购配件信息 发至配件供给商社区,在配件供给商社区中,该商家的角色转变为客户角色,求购过程冋上。 交易流程如下序列图所示: 小扪 L 们忙顷力 一 了人是 “-,2A1亻自羊 -- 图7交易各方执行序列图 其中,中介用于查询某个 Agent的物埋地址,并充当信誉管理角色;DF是JADE提供 的黄页服务,用于 Agent登陆系统的注册,是系统实现在线 Agent功能的一个基础。上述实 例中,系统的各个 Agent运行截图如下所示 中国科花论义在 基于企业联的上交易系n快 子全立理的交喜线封种世 d后, 开为门 图8(a)客户A模块图图 (b)电脑商家B模块图 展于企业联盟的网上交易系统 基于企出联要的网上交易系织种 青机用a 数B 图8(c)配什商模块图 图8(d)中介模块图 从实例的运行的过程可以看出,改变指导商家或顾客的个体政策,可以调整和控制其 Agent的行为,并且能够通过制定组织政策来规范和控制多个 Agent间的协作过程。从而仗 政策戍为整个多 Agent协同系统的管理和控制核心。另外,当通过政策来改变 Agent的行为 时,无需更改 Agent的底层实现代码,从而使该系统兼具了灵活性。 相关研究 应用政策作为动态约束和调整系统行为的准则,正在戊为使科学和工业应用具有动态适 应性的流行手段。如美国的 autoMate项目,该项目目的是探索能够在网格环境中进行自 我管理的系统。在 Auto mate系统中,按照功能块在逻辑上分成了许多层,并采用了基于策 略的思想,将政策与实际的运行机制分离,使得基于网格的P2P内容交付应用变得易于控 制,降低了系统的管理复杂度。不过 AutoMate并没有完仝把基于政策的管理思想应用其中, 没有提供政策的运行与部署机制,和相应的政策精化于段。 欧洲的Dgmm10团队提出了作为MAS(多 Agent系统)建模框架的OMNI ( Organizational model for Normative Institutions),他们从准则制定、协同组织、本体建立 这3个角度把框架分成3层:抽象层、具体层和实现层,在每层上,都有规沱的逻辑语义, 确俣了系统各个方面的连贯性与一致性。该系统可以很容易把抽象的规范准则变换为具体的 协议,并利用执行层,把设计中的规范准则实施在一个特定的多 Agent体系结构。但是, OMNI在准则管理方面略显不足,没有提出准则管理模块的运作,并且没有对不冋准则的具 体划分,没有提出对准则的冲突解决。 国内,中科院史忠植等人实现了主体网格平台AGrP1,它是山多主体平台MAGE、 工具软件层和应用层组成。AGrP采用以动态述逻辑DDL为棊础的主体理论模犁,以主 体服务描述语言SDLSⅣN为多主体交互的语义基础,通过动作政策、日标政策和优化政策三 类政策约東主体协作行为多决策支持系统(OKPS)。主体网格智能信息平台 A GrIP形成了 套面向主体的软件开发方法和技术。然而,他们的研究没有以政策为核心,构建多主体协同 模型、规范和运行杋制,仪简单地应用政策来约束主体协作行为,没有充分挖掘攻策在作为 动态约東和调整系统行为的准则,实现协同动态适应性的优势,从而使主体网格智能平台 中国科花论义在 AGrP在实现自治、可控的多主体协同能力上,喀显得不足 本文提岀的改策导冋的多 agent协同系统,采用政策作为系统管理和控制的核心,驱动 政策协同系统的运行,较宄前的研究在使用政策的深度和广度上都有了大幅提升。 结束语 木文研究政策导向型多 Agent协同系统,是一种可控制的柔性的多Agen协同系统,该 系统是建立在峧策管理技术之上,能在动态的、分布式的环境中实现資源和服务的协同。它 通过动态更新由 Agent解释的政策规则来改变它们的行为,而无需改变系统的软件配置和编 码,使 Agent的行为决策也将会变得更加的规范与可控,因此具有髙度的灵活性、扩展性。 接下米,进一步提高实时父互的稳定性和有效解决政策冲突是下一步硏究的方向 参考文献 廖备水,高济.PDC-Δgent支持的动态自组织系统计算机辅助设计与图形学学报,2006年2月,18(2) 217-224 [2] Morris Sloman. Policy Driven Managcmcnt for Distributcd Systcms[J]. Journal of Nctwork and Systcms Management,1994,2(4):333-360 [3]胡军.面向自治计算的基于政策的多 agent系统体系研究[D].博士学位论文:浙江大学,2006 [4]朱从民,黄玉美,上官望义.移动机器人 Jaya agent搾制系统设计J计算机工稈与应用,2009,45(5) 74-77 5 MK.Smith, C Welty, D L.McGuinness: OWL Web Ontology Language Guide. W3C Recommendation, February 2004) [6 Andrzej Uszok, Jeffrey M. Bradshaw, James Lott, Maggie Breedy, Larry Bunch. New Developments in Ontology-Bascd Policy Managcmcnt: Incrcasing the Practicality and Comprchcnsivencss of KAos[C]. IEEE Computer society, 2008: 145-1520 [7 Steven Davy, Brendan Jennings, John Strassner. Using an Information Model and Associated Ontolo Selection of Policies for Conflict Analysis[C]. IEEE Workshop on Policies for Distributed Systems and Networks, 2008:82-85 [8]胡军、付业军.种基于概念分解的政策精化方沄[计算机应用研究,2009,26(5)1650-1653 [9]Parashar M, Bhat V, Liu H, ct al. AutoMatc: enabling autonomic applications on the grid[]. Cluster Computing, 2006,9(2):161-174 10 Dignum V, J. Vazquez- Salccda, Dignum F OMNI: Introducing Social Structurc, Norms and Ontologies into Agent Organizations[J]. LNAI 2004, 2005: 181-198. 「I1史忠植,林芬.主休网格智能平台 GRiP枃建及其应用「J.智能系统学报,2006,1(1:17-23. Li Zhengtong, Hu Jun Department of Computer Science and Technology, Hunan University, Changsha, PRC (410082) For the Multi-Agent cooperation process is controllable and in order, to resolve the problem of flexibility sufficiency but controllability insufficiency in traditional Multi-Agent system, a policy-oriented Multi-Agent cooperation system, which takes the dynamic restraint and regulate system behavior policy as the management and control method, is proposed in this paper. Firstly, the policy-oriented Multi-Agent cooperation theory is presented; then, the system architecture and the system sub-structure is introduced; finally, an example analysis which verifies the controllability and management features of the system is presented Multi-Agent system; cooperation; policy 作者简介 李正通(1984)、男、硕士研究生、主要矿究方向为 Agent及多 Agent系统等;胡车(1971—)、 男、副教授、博士、主要研究方向为多 agent系统、自治计算和人⊥智能 -9