如何解决使用TOCO的TFLite量化的舍入模式
我试图了解TOCO如何精确量化带注释的模型。假设我们有一个keras模型:
Conv2D
MaxPool
Conv2D
MaxPool
Flatten
Dense
Dense(SoftMax)
其中Conv2D层已注释,用于使用QuantizeConfig基于以下量化器对权重和激活进行量化的训练后量化:
LastValueQuantizer(num_bits=8,symmetric=True,narrow_range=False,per_axis=False)
据我所知,使用TOCO将此类带注释的keras模型转换为TFLite应该会产生一个模型,其中Conv2D层已量化为8位整数,而其余部分则保持在32位浮点数。那是对的吗?如果是,如何完成从32bit输入的keras Conv2D层到int8的舍入?使用float16而不是int8时情况是否相同?设置num_bits = 4的解决方案是什么?
感谢您的帮助!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。