#分类
##################################################
#数据准备
setwd("D:/教学/数据挖掘/2018/R/data")#设定当前的工作目录，重要！
#计算机的例子
train <- read.csv("computer.csv",header=T)
coly <- 5 #y所在的列号
names(train)[coly] <- "y"
train
testx <- data.frame(age="youth",income="medium",student="yes",credit_rating="fair")
levels(testx[,1]) <- levels(train[,1])
levels(testx[,2]) <- levels(train[,2])
levels(testx[,3]) <- levels(train[,3])
levels(testx[,4]) <- levels(train[,4])
#建模
if (!require(adabag)) {
install.packages("adabag")
library(adabag)
} #使用其中的bagging函数
set.seed(1) #因为需在样本中随机抽样
model.bag <- bagging(y~.,data=train,mfinal=3,control=rpart.control(minsplit=1,maxdepth=2))#mfinal默认值为100
#print(model.bag)可以通过print显示模型所有的信息
names(model.bag)
model.bag$trees #显示每一棵树模型
model.bag$samples #每一列为抽取的一个随机样本
model.bag$votes #投票票数，第1列为y="no"所得票数，第2列为y="yes"所得票数
model.bag$prob #拟合值-概率
model.bag$class #拟合值-类别
model.bag$importance #变量相对重要性
importanceplot(model.bag) #变量相对重要性柱状图
#查看拟合效果
#在predict函数中的数据集保留有y的话，会自动输出混淆矩阵和错误率
pred.bag <- predict(model.bag,train,type="class")
pred.bag
#查看随着树的数量增加，error的变化情况，便于选择mfinal
evol.model <- errorevol(model.bag,train)
evol.model
plot(evol.model$error, type = "l", ylim = c(0, 1),
main = "Bagging error versus number of trees", xlab = "Iterations",
ylab = "Error", col = "red", lwd = 2)
#由图上看出当Iteration为3时可使错误率达到最小。
#但要注意，这里的error是基于所有训练集cases的拟合值计算而得，也就是Resubstitution estimate，不够客观
#用2折交叉验证选mfinal
m=10
errorvec <- rep(0,m)
for (i in 1:m){
set.seed(1) #因为需在样本中随机抽样
bagcv <- bagging.cv(y~.,data=train,v=2,mfinal=i,control=rpart.control(minsplit=1,maxdepth=2))
errorvec[i] <- bagcv$error
}
errorvec
#预测，可在predict中设置新的mfinal参数值，相当于重新建立了模型再作预测
bag.predtest <- predict(model.bag,testx,type="prob",mfianl=which.min(errorvec))#预测
bag.predtest
#bagging函数不能用作回归（y是定量数据的情况）
