强化学习导论第二版英文版2017最新版ReinforcementLearningAnIntroduction资源-CSDN文库

强化学习

增强学习

5星 · 超过95%的资源需积分: 34 161 浏览量 2017-12-27 14:46:51 上传评论 1 收藏 12.11MB PDF 举报

资源详情

资源评论

Reinforcement Learning:

An Introduction

Second edition, in progress

****Complete Draft****

November 5, 2017

Richard S. Sutton and Andrew G. Barto

 2014, 2015, 2016, 2017

The text is now complete, except possibly for one more case study to be added to Chapter 16. The

references still need to be thoroughly checked, and an index still needs to be added. Please send any

errors to rich@richsutton.com and barto@cs.umass.edu. We are also very interested in correcting any

important omissions in the “Bibliographical and Historical Remarks” at the end of each chapter. If

you think of something that really should have been cited, please let us know and we can try to get it

corrected before the ﬁnal version is printed.

A Bradford Book

The MIT Press

Cambridge, Massachusetts

London, England

Contents

Preface to the First Edition ix

Preface to the Second Edition xi

Summary of Notation xv

1 Introduction 1

1.1 Reinforcement Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.3 Elements of Reinforcement Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.4 Limitations and Scope . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.5 An Extended Example: Tic-Tac-Toe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.7 Early History of Reinforcement Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

I Tabular Solution Methods 18

2 Multi-armed Bandits 19

2.1 A k-armed Bandit Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.2 Action-value Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.3 The 10-armed Testbed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.4 Incremental Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

2.5 Tracking a Nonstationary Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.6 Optimistic Initial Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.7 Upper-Conﬁdence-Bound Action Selection . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2.8 Gradient Bandit Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.9 Associative Search (Contextual Bandits) . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

2.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

3 Finite Markov Decision Processes 37

3.1 The Agent–Environment Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

3.2 Goals and Rewards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

iii

iv CONTENTS

3.3 Returns and Episodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

3.4 Uniﬁed Notation for Episodic and Continuing Tasks . . . . . . . . . . . . . . . . . . . . 45

3.5 Policies and Value Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

3.6 Optimal Policies and Optimal Value Functions . . . . . . . . . . . . . . . . . . . . . . . 50

3.7 Optimality and Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

3.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

4 Dynamic Programming 59

4.1 Policy Evaluation (Prediction) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

4.2 Policy Improvement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

4.3 Policy Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

4.4 Value Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

4.5 Asynchronous Dynamic Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

4.6 Generalized Policy Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

4.7 Eﬃciency of Dynamic Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

4.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

5 Monte Carlo Methods 75

5.1 Monte Carlo Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

5.2 Monte Carlo Estimation of Action Values . . . . . . . . . . . . . . . . . . . . . . . . . . 79

5.3 Monte Carlo Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

5.4 Monte Carlo Control without Exploring Starts . . . . . . . . . . . . . . . . . . . . . . . 82

5.5 Oﬀ-policy Prediction via Importance Sampling . . . . . . . . . . . . . . . . . . . . . . . 84

5.6 Incremental Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

5.7 Oﬀ-policy Monte Carlo Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

5.8 *Discounting-aware Importance Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . 92

5.9 *Per-reward Importance Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

5.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

6 Temporal-Diﬀerence Learning 97

6.1 TD Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

6.2 Advantages of TD Prediction Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

6.3 Optimality of TD(0) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

6.4 Sarsa: On-policy TD Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105

6.5 Q-learning: Oﬀ-policy TD Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

6.6 Expected Sarsa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

6.7 Maximization Bias and Double Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

6.8 Games, Afterstates, and Other Special Cases . . . . . . . . . . . . . . . . . . . . . . . . 112

6.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

7 n-step Bootstrapping 115

7.1 n-step TD Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

CONTENTS v

7.2 n-step Sarsa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

7.3 n-step Oﬀ-policy Learning by Importance Sampling . . . . . . . . . . . . . . . . . . . . 121

7.4 *Per-reward Oﬀ-policy Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

7.5 Oﬀ-policy Learning Without Importance Sampling:

The n-step Tree Backup Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

7.6 *A Unifying Algorithm: n-step Q(σ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

7.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

8 Planning and Learning with Tabular Methods 131

8.1 Models and Planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

8.2 Dyna: Integrating Planning, Acting, and Learning . . . . . . . . . . . . . . . . . . . . . 133

8.3 When the Model Is Wrong . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137

8.4 Prioritized Sweeping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

8.5 Expected vs. Sample Updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142

8.6 Trajectory Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144

8.7 Real-time Dynamic Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146

8.8 Planning at Decision Time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

8.9 Heuristic Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150

8.10 Rollout Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152

8.11 Monte Carlo Tree Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

8.12 Summary of the Chapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

8.13 Summary of Part I: Dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

II Approximate Solution Methods 160

9 On-policy Prediction with Approximation 161

9.1 Value-function Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

9.2 The Prediction Objective (VE) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

9.3 Stochastic-gradient and Semi-gradient Methods . . . . . . . . . . . . . . . . . . . . . . . 164

9.4 Linear Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167

9.5 Feature Construction for Linear Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 171

9.5.1 Polynomials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

9.5.2 Fourier Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

9.5.3 Coarse Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175

9.5.4 Tile Coding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

9.5.5 Radial Basis Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

9.6 Nonlinear Function Approximation: Artiﬁcial Neural Networks . . . . . . . . . . . . . . 182

9.7 Least-Squares TD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

9.8 Memory-based Function Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

9.9 Kernel-based Function Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189

9.10 Looking Deeper at On-policy Learning: Interest and Emphasis . . . . . . . . . . . . . . 190

剩余444页未读，继续阅读

评论收藏

内容反馈

wc409

2018-01-14

很好的资源，值得好好学习

强化学习导论第二版英文版 2017最新版 Reinforcement Learning An Introduction

评论2

最新资源

强化学习导论 第二版 英文版 2017最新版 Reinforcement Learning An Introduction

评论2

最新资源

相关推荐

强化学习导论中文版 增强学习导论中文版 Reinforcement learning an introduction 中文版.

《强化学习导论》第二版源代码(python).rar

强化学习导论资源集合(两个版本英文原文，部分翻译)

增强学习导论（Reinforcement Learning An Introduction_Sutton）

经典教材 R.Sutton《增强学习导论》第二版英文原版

Reinforcement Learning: An Introduction (2017年11月最新版)

2017强化学习英文最新综述 Deep Reinforcement Learning: An Overview

强化学习介绍 Reinforcement Learning: An Introduction

增强学习导论代码Reinforcement Learning - An Introduction(Second edition, Draft)

强化学习导论（Reinforcement Learning）

Reinforcement Learning: An Introduction 2018年 第二版和之前2015中文翻译版

Reinforcement Learning高清英文原版

Reinforcement Learning：An Introduction第二版

《强化学习导论》最新版——————文字版本，

Reinforcement Learning: An Introduction 2nd solutions （第二版 答案）

强化学习：介绍 Reinforcement Learning: An Introduction

强化学习导论(第二版) / Reinforcement Learning：An Introduction @ShowMeAI

强化学习：简介，第二版（草稿）Reinforcement Learning: An Introduction, Second Edition (Draft)

强化学习入门（Introduction to Deep Reinforcement Learning by Shenglin Zhao）

Reinforcement Learning: An Introduction second edition

强化学习导论2018年最新版

Sutton 强化学习课程

强化学习导论

Reinforcement Learning_An Introduction多版本合集

强化学习：简介Reinforcement Learning: An Introduction

Reinforcement Learning An Introduction引言部分摘录-强化学习与监督学习无监督学习的区别.pdf

Reinforcement Learning An Introduction_Sutton-增强学习导论（文档+代码）

Reinforcement Learning - An Introduction 2nd 2017

强化学习英文文献

强化学习导论第二版英文版 2017最新版 Reinforcement Learning An Introduction

强化学习导论中文版增强学习导论中文版 Reinforcement learning an introduction 中文版.

Reinforcement Learning: An Introduction 2018年第二版和之前2015中文翻译版

Reinforcement Learning: An Introduction 2nd solutions （第二版答案）