如何解决量化模型的QAT输出节点具有相同的最小最大范围
最近,我在tf1.x上进行了量化感知培训,以将模型推向Coral Dev Board。但是,当我完成模型训练后,为什么我的2个输出的最小最大值是相同的伪量化?
一个人的最大目标是95而一个是2pi会有所不同吗?
解决方法
我已经解决了问题。当模型的那一部分没有真正经过训练的QAT时就是问题所在。这发生在训练时以某种方式忘记QAT的输出节点。 -6和6值来自tf1.x量化的默认来源,如here
为克服该问题,我们应该提供一些操作来触发输出节点的QAT。在我的回归案例中,我在模型中添加了一个虚拟操作:tf.maximum(output,0)来使节点QAT。如果您的输出严格在0-1之间,则在输出上应用“ S型”激活而不是relu也可以解决问题。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。