如何解决尽管精度超过99%,随机森林模型仍会产生错误的预测
对于ML课程,我应该基于训练集构建模型以预测验证集上的变量“ classe”。我删除了训练集中的所有不必要变量,使用了交叉验证来防止过度拟合,并确保验证集在删除哪些列方面与训练集匹配。当我在验证集中预测类别时,它将产生所有类别A,我知道这是不正确的。
我在下面包括了整个脚本。
我哪里出错了?
library(caret)
download.file("https://d396qusza40orc.cloudfront.net/predmachlearn/pml-training.csv","train.csv")
download.file("https://d396qusza40orc.cloudfront.net/predmachlearn/pml-testing.csv","test.csv")
train <- read.csv("./train.csv")
val <- read.csv("./test.csv")
#getting rid of columns with NAs
nas <- sapply(train,function(x) sum(is.na(x)))
train <- train[,nas<1900]
#removing near zero variance columns
remove <- nearZeroVar(train)
train <- train[,-remove]
#create partition in our training set
set.seed(8675309)
inTrain <- createDataPartition(train$classe,p = .7,list = FALSE)
training <- train[inTrain,]
testing <- train[-inTrain,]
model <- train(classe ~ .,method = "rf",data = training)
confusionMatrix(predict(model,testing),testing$classe)
#make sure validation set has same features as training set
trainforvalid <- subset(training,select = -classe)
val <- val[,colnames(trainforvalid)]
predict(model,val)
#the above step yields all predictions as classe A
解决方法
这可能是由于数据不平衡而发生的。如果数据具有相对于A类而言比B类更多的数据点,则该模型将简单地学习始终预测A类。
在这种情况下,请尝试使用更好的指标,例如 F1得分。
我还建议使用过采样或欠采样之类的技术,以避免数据不平衡的问题。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。