Contents
Introduction 4
1 Classification 6
1.1 Discriminantanalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.1 Themultivariatenormaldistribution . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.2 Bayesclassifierformultivariatenormaldistributions . . . . . . . . . . . . . . . 7
1.1.3 Fisherdiscriminantanalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.1.4 KernelFisherdiscriminantanalysis . . . . . . . . . . . . . . . . . . . . . . . . 14
1.1.5 Multiclasslineardiscriminant. . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2 Logisticregression. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.1 Modelandrisk. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.2 Maximumlikelihoodestimation . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.2.3 Logisticregressionversuslineardiscriminantanalysis(LDA) . . . . . . . . . . 19
1.3 Boosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.1 Adaboost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.2 ERMpointofviewandremarks . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.3.3 Gradientboosting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.4 Supportvectormachines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.4.1 Largemarginclassifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.4.2 RKHS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.4.3 KerneltrickandnonlinearSVM . . . . . . . . . . . . . . . . . . . . . . . . . . 38
1.4.4 SVMinaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.4.5 Dualityinconvexoptimization . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.4.6 Dualproblemandsupportvectors . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.4.7 Statisticalperspective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
1.5 Adetourtononparametricregression . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
1.5.1 Leastmeansquares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
1.5.2 Leastabsolutedeviations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
1.5.3 Supportvectorregression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
1.6 Othermethods. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
1.6.1 k-nearestneighbors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
1.6.2 Decisiontrees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
1.6.3 Bagging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
1.6.4 Randomforests. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
1
评论0
最新资源