如何解决权重和偏见扫描Keras K折验证
我正在Keras上使用基于Weights＆Biases基于云的扫描。 因此，首先，我在W＆B项目中使用以下配置创建新的Sweep：
description: LSTM Model
method: random
metric:
goal: maximize
name: val_accuracy
name: LSTM-Sweep
parameters:
batch_size:
distribution: int_uniform
max: 128
min: 32
epochs:
distribution: constant
value: 200
node_size1:
distribution: categorical
values:
- 64
- 128
- 256
node_size2:
distribution: categorical
values:
- 64
- 128
- 256
node_size3:
distribution: categorical
values:
- 64
- 128
- 256
node_size4:
distribution: categorical
values:
- 64
- 128
- 256
node_size5:
distribution: categorical
values:
- 64
- 128
- 256
num_layers:
distribution: categorical
values:
- 1
- 2
- 3
optimizer:
distribution: categorical
values:
- Adam
- Adamax
- Adagrad
path:
distribution: constant
value: "./path/to/data/"
program: sweep.py
project: SLR
我的sweep.py文件看起来像这样：
# imports
init = wandb.init(project="my-project",reinit=True)
config = wandb.config
def main():
skfold = StratifiedKFold(n_splits=5,shuffle=True,random_state=7)
cvscores = []
group_id = wandb.util.generate_id()
X,y = # load data
i = 0
for train,test in skfold.split(X,y):
i=i+1
run = wandb.init(group=group_id,reinit=True,name=group_id+"#"+str(i))
model = # build model
model.fit([...],WandBCallback())
cvscores.append([...])
wandb.join()
if __name__ == "__main__":
main()
从wandb agent文件夹中的sweep.py命令开始。
我在此设置中遇到的问题是，使用第一个wandb.init（）调用会初始化新的运行。好吧，我可以删除它。但是，当第二次调用wandb.init（）时，似乎无法跟踪正在运行的扫描。在线扫描中会列出一个空运行（因为第一次调用wandb.init（）），所有其他运行列在项目内，但不在扫描中。
我的目标是对k折交叉验证的每一折进行检查。至少我认为这将是正确的方法。 是否有其他方法可以将扫描与keras k-fold交叉验证相结合？
解决方法
我们汇总了一个如何完成k倍交叉验证的示例：
https://github.com/wandb/examples/tree/master/examples/wandb-sweeps/sweeps-cross-validation
该解决方案要求wandb库具有某些扭曲，才能代表已启动的清除作业生成多个作业。
基本思想是：
- 代理程序从云托管参数服务器请求一组新的参数。这是主函数中名为
sweep_run的运行。 - 将有关折叠应在多处理队列上处理的信息发送给等待的流程
- 每个生成的进程日志都以自己的方式运行，并按group和job_type进行组织，以在UI中启用自动分组
- 该过程完成后，它将主要指标通过队列发送到父扫描运行
- 扫描运行从子运行中读取指标并将其记录到扫描运行中，以便扫描可以使用该结果影响将来的参数选择和/或超频段提前终止优化
扫掠和k折分组的可视化示例可在此处查看：
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。