方法有几种,总结一下方便后面使用。
1. tensorflow自动维护一个tf.GraphKeys.WEIGHTS集合,手动在集合里面添加(tf.add_to_collection())想要进行正则化惩罚的变量。
然后创建 regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE),
再应用函数 regularization_loss = tf.contrib.layers.apply_regularization(regularizer=regurializer) 即可得到对集合tf.GraphKeys.WEIGHTS内的变量的正则化项。
2. 先创建 regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE),
创建变量时指定regularizer,如 w1 = tf.get_variable(‘w1‘,[100,100],regularizer=regularizer),tensorflow会将变量加入集合 tf.GraphKeys.REGULARIZATOIN_LOSSES,
然后设置正则化系数 REGULARIZATION_RATE,通过获取上述的集合即可得到正则化损失
regularization_loss = REGULARIZATION * sum(
tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES))。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。