-
决策树是什么
决策树是基于树结构来进行决策，这恰是人类在面临决策问题时一种很自然的处理机制。例如，我们要对“这是好瓜吗？”这样的问题进行决策时，通常会进行一系列的判断或“子决策”：我们先看“它是什么颜色？”，如果是“青绿色”，则我们再看“它的根蒂是什么形态？”，如果是“蜷缩”，我们再判断“它敲起来是什么声音？”，最后我们得出决策：这是一个好瓜。这个决策如图所示：
-
决策树能做什么
决策树能实现对数据的探索，能对数据轮廓进行描述，能进行预测和分类，了解哪些变量最重要
-
决策树基本流程
-
几种分列准则
一 信息增益
二 增益率
三 基尼系数
-
停止条件
1.如果节点中所有观测属于一类。
2.如果该节点中所有观测的属性取值一致。
3.如果树的深度达到设定的阈值。
4.如果该节点所含观测值小于设定的父节点应含观测数的阈值。
5.如果该节点的子节点所含观测数将小于设定的阈值。
6.如果没有属性能满足设定的分裂准则的阈值。
-
C4.5，对连续属性的处理
在C4.5中，对连续属性的处理如下：
1. 对特征的取值进行升序排序
2. 两个特征取值之间的中点作为可能的分裂点，将数据集分成两部分，计算每个可能的分裂点的信息增益（InforGain）。优化算法就是只计算分类属性发生改变的那些特征取值。
3. 选择修正后信息增益(InforGain)最大的分裂点作为该特征的最佳分裂点
4. 计算最佳分裂点的信息增益率（Gain Ratio）作为特征的Gain Ratio。注意，此处需对最佳分裂点的信息增益进行修正：减去log2(N-1)/|D|（N是连续特征的取值个数，D是训练数据数目，此修正的原因在于：当离散属性和连续属性并存时，C4.5算法倾向于选择连续特征做最佳树分裂点）
-
R代码实现（C5.0）
一.导入数据集，把目标变量转为因子
setwd("D:\\R_edu\\data")
rm(list=ls())
accepts<-read.csv("accepts.csv")
str(accepts)
accepts$bad_ind<-as.factor(accepts$bad_ind)
names(accepts)
accepts=accepts[,c(,:)]
根据业务理解生成更有意义的衍生变量，不过这些变量都是临时的，因为没有经过数据清洗，此处仅作一个示例
二.将数据分为训练集和测试集
set.seed()
select<-sample(:nrow(accepts),length(accepts$bad_ind)*0.7)
train=accepts[select,]
test=accepts[-select,]
summary(train$bad_ind)
三.运行C50算法建模
train<-na.omit(train)
library(C50)
ls('package:C50')
tc<-C5.0Control(subset =F,CF=0.25,winnow=F,noGlobalPruning=F,minCases =)
model <- C5.(bad_ind ~.,data=train,rules=F,control =tc)
summary( model )
四.图形展示
plot(model)
C5imp(model)
五.生成规则
rule<- C5.(bad_ind ~.,data=train,rules=T,control =tc)
summary( rule )
-
CRAT算法处理离散型变量
- 记m为样本T中该属性取值的种类数
- 穷举将m种取值分为两类的划分
- 对上述所有划分计算GINI系数
-
R代码实现CART算法
rpart包中有针对CART决策树算法提供的函数，比如rpart函数
以及用于剪枝的prune函数
rpart函数的基本形式：rpart(formula,data,subset,na.action=na.rpart,method.parms,control,…)
一.设置向前剪枝的条件
tc <- rpart.control(minsplit=,minbucket=,maxdepth=,xval=,cp=0.005)
rpart.control对树进行一些设置
minsplit是最小分支节点数，这里指大于等于20，那么该节点会继续分划下去，否则停止
minbucket：树中叶节点包含的最小样本数
maxdepth：决策树最大深度
xval:交叉验证的次数
cp全称为complexity parameter，指某个点的复杂度，对每一步拆分,模型的拟合优度必须提高的程度
二.建模
rpart.mod=rpart(bad_ind ~.,data=train,method="class",
parms = list(prior = c(0.65,0.35), split = "gini"),
control=tc)
summary(rpart.mod)
#.3看变量重要性
rpart.mod$variable.importance
#cp是每次分割对应的复杂度系数
rpart.mod$cp
plotcp(rpart.mod)
三.画树图
library(rpart.plot)
rpart.plot(rpart.mod,branch=, extra=, under=TRUE, faclen=,
cex=0.8, main="决策树")
四.CART剪枝
prune函数可以实现最小代价复杂度剪枝法，对于CART的结果，每个节点均输出一个对应的cp
prune函数通过设置cp参数来对决策树进行修剪,cp为复杂度系数
我们可以用下面的办法选择具有最小xerror的cp的办法：
rpart.mod.pru<-prune(rpart.mod, cp= rpart.mod$cptable[which.min(rpart.mod$cptable[,"xerror"]),"CP"])
rpart.mod.pru$cp
五.绘制剪枝后的树状图
library(rpart.plot)
rpart.plot(rpart.mod.pru,branch=, extra=, under=TRUE, faclen=,
cex=0.8, main="决策树")
六.CART预测
- 使用模型对测试集进行预测使用模型进行预测
- 使用模型进行预测
rpart.pred<-predict(rpart.mod.pru,test)
可以看到，rpart.pred的结果有两列，第一列是为0的概率，第二列是为1的概率
通过设定阀值，得到预测分类
pre<-ifelse(rpart.pred[,]>0.5,,)
