Convex Optimization
Stephen Boyd
Department of Electrical Contents
Preface xi
1 Introduction 1
1.1 Mathematical optimization . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Least-squares and linear programming . . . . . . . . . . . . . . . . . . 4
1.3 Convex optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 Nonlinear optimization . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.6 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
I Theory 19
2 Convex sets 21
2.1 Affine and convex sets . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2 Some important examples . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3 Operations that preserve convexity . . . . . . . . . . . . . . . . . . . . 35
2.4 Generalized inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.5 Separating and supporting hyperplanes . . . . . . . . . . . . . . . . . . 46
2.6 Dual cones and generalized inequalities . . . . . . . . . . . . . . . . . . 51
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3 Convex functions 67
3.1 Basic properties and examples . . . . . . . . . . . . . . . . . . . . . . 67
3.2 Operations that preserve convexity . . . . . . . . . . . . . . . . . . . . 79
3.3 The conjugate function . . . . . . . . . . . . . . . . . . . . . . . . . . 90
3.4 Quasiconvex functions . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
3.5 Log-concave and log-convex functions . . . . . . . . . . . . . . . . . . 104
3.6 Convexity with respect to generalized inequalities . . . . . . . . . . . . 108
Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
