基于Q学习实现机器人路径规划附matlab 仿真.zip

function robot=Qlearning(robot,task,Rew,N) % Q learning ArithmaticQ学习算法 [m,n]=size(Rew); % load the task and the robot装载任务和机器人 gam=robot.gamma; alp=robot.alpha; as=1:4; %方向选择值 LearnN=0; si=task.initialState;ki=sub2ind([m,n],si(1),si(2));%提取开始位置在数组中的索引值 st=task.terminalState;kt=sub2ind([m,n],st(1),st(2));%提取终点位置在数组中的索引值 for lp=1:N alp=alp*exp((1-rem(lp,10))/N);%贪婪策略 Q=robot.Qtable; % load the new table载入新的表 robot.state=si; % return to the initial state 回到初始状态 s0=si;k0=ki; step=0; slist=[]; while k0~=kt qs=Q(k0,:); q=min(qs);ras=as;ras(qs==q)=[]; if isempty(ras) % policy策略 a=unidrnd(4,1);%在一维数组中离散产生随机整数4 else qs(qs==q)=[]; a=drnd(ras,qs-q(1)); end s=exact(s0,a); if any(s<1)||any(s>m)||any(s>n) % beyond the environment超越环境 Q(k0,a)=Q(k0,a)-100; break; else % feasible k=sub2ind([m,n],s(1),s(2)); %提取数组中的索引值 v=max(Q(k,:)); % V(s) D=Rew(k)+gam*v-Q(k0,a)-.2; Q(k0,a)=Q(k0,a)+alp*D; end slist=[slist;s0,a,s]; s0=s;k0=k;step=step+1; disp([num2str(s0),' | ',num2str(a),' | ',num2str(s),' LearnN ',num2str(LearnN),' step ',num2str(step)]) % 打印状态转移 end LearnN=LearnN+1; robot.state=s; % update the robot更新机器人 robot.Qtable=Q; if k0==kt if isempty(robot.best), % record记录 robot.best=slist; elseif step<size(robot.best,1), robot.best=slist; end end end function s=exact(s,a) switch(a) case 1 % dowm s=s+[1,0]; case 2 % right s=s+[0,1]; case 3 % up s=s+[-1,0]; case 4 % left s=s+[0,-1]; otherwise end