Tensorflow:深度学习梯度泄漏的第二阶导数学习

如何解决Tensorflow:深度学习梯度泄漏的第二阶导数学习

我正在尝试从本文中重新创建结果:http://papers.nips.cc/paper/9617-deep-leakage-from-gradients.pdf

其要点是它试图使用模型权重和梯度来重新创建输入和输出训练数据(这对于分布式学习很重要)。这是他们的设置:

  1. 使用训练批次正常计算模型的梯度。
  2. 初始化形状与训练数据相同的随机训练数据,表示为假数据。
  3. 使用相同模型基于假数据计算假梯度。
  4. 计算真实梯度和假梯度之间的MSE。
  5. 通过虚假数据计算此MSE的梯度。
  6. 使用渐变更新伪造数据
  7. 重复3-6次几百次
  8. 此后,假数据应与输入数据非常相似

我在Tensorflow中努力实现的部分是步骤4和5。我不确定如何正确处理二阶导数。

这是我天真的做法:

# x_batch_train is the input data
# y_batch_train is the output data
# fakex is the fake input data
# fakey is the fake output data
fakex = tf.convert_to_tensor(np.random.random(x_batch_train.numpy().shape))
fakey = tf.convert_to_tensor(np.random.random(y_batch_train.numpy().shape))

with tf.GradientTape(persistent=True) as tape:
    logits = model(x_batch_train,training=True)
    # The normal loss using real data
    loss_value = loss_fn(y_batch_train,logits)

    fakeLogits = model(fakex,training=True)
    # The fake loss using fake data
    fake_loss_value = loss_fn(fakey,fakeLogits)

# The normal gradient
grads = tape.gradient(loss_value,model.trainable_weights)

# The fake gradient
fakegrads = tape.gradient(fake_loss_value,model.trainable_weights)

# The MSE of the normal gradient and the fake gradient
inputloss = tf.keras.losses.mean_squared_error(grads,fakegrads)

# The gradient wrt to the fake input data
inputGrad = tape.gradient(inputloss,fakex)
# The gradient wrt to the fake outputdata
outputGrad = tape.gradient(inputloss,fakey)

print(inputGrad)
print(outputGrad)

到目前为止,我尝试过的所有操作都导致输入grad和outputgrad的错误或返回None。如何使用tape.gradient进行这些二阶导数?假设可以/应该用tape.gradient完成。

谢谢!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com(将#修改为@)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?
Java在半透明框架/面板/组件上重新绘画。
Java“ Class.forName()”和“ Class.forName()。newInstance()”之间有什么区别?
在此环境中不提供编译器。也许是在JRE而不是JDK上运行?
Java用相同的方法在一个类中实现两个接口。哪种接口方法被覆盖?
Java 什么是Runtime.getRuntime()。totalMemory()和freeMemory()?
java.library.path中的java.lang.UnsatisfiedLinkError否*****。dll
JavaFX“位置是必需的。” 即使在同一包装中
Java 导入两个具有相同名称的类。怎么处理?
Java 是否应该在HttpServletResponse.getOutputStream()/。getWriter()上调用.close()?
Java RegEx元字符(。)和普通点?