如何解决在BigQuery ML中,是否可以将SAMPLE WEIGHT与XGBoost和DNN模型一起使用?
我有一个数据集,每个实例的权重都不同。就我而言,权重相差最大数量级。 我想训练一个将考虑这些权重的Regressor类型模型。 作为研究的一部分,我尝试了以下模型:'BOOSTED_TREE_CLASSIFIER','BOOSTED_TREE_REGRESSOR','DNN_CLASSIFIER','DNN_REGRESSOR'。 在文档(XGB Models,DNN Models)中,似乎没有办法为“权重”定义列。 (可以为分类器定义“类权重”,这是完全不同的事情。)
作为研究的一部分,我没有使用权重,而是创建了一个向上采样的数据集。但是,这种方法有两个巨大的缺点:
- 它大大增加了数据集的大小,这转化为模型训练的成本。
- 由于权重的显着差异,我被迫删除权重较低的样本-保持向上采样的数据集具有“合理的大小”(大约是原始数据集的10到20倍)。结果,重要的信号丢失了。
我看到大多数DNN和XGBoost库都支持SAMPLE_WEIGHT参数-既适用于分类模型也适用于回归模型类型(here is an example)。
在BigQuery ML中,是否可以对XGBoost和DNN模型(回归模型/分类器模型类型)使用SAMPLE WEIGHT?
解决方法
截至2020年12月2日,BigQuery ML不支持按样本加权。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。