如何解决混合tf.keras.mixed_precision是否可以进行推理?
我不确定我是否理解张量流keras mixed precision的想法。我的目标是运行精度为浮点16的tf.keras
模型,以提高推理速度。可以做到混合精度吗?
我正在设置模型,然后再训练模型:
from tensorflow.keras.mixed_precision import experimental as mixed_precision
policy = mixed_precision.Policy('mixed_float16')
mixed_precision.set_policy(policy)
或者这只是为了加快培训速度。如果是这样,我如何实现tf.keras模型的权重/激活以具有FP16精度?
注意:我正在使用tensorflow==2.3.0
解决方法
与您提到的链接一样,培训的精度也参差不齐。 Nvidia有更多的深度信息,这在这里意味着什么: https://docs.nvidia.com/deeplearning/performance/mixed-precision-training/index.html
此处描述了实际过程,以及如何以及为什么在FP32中复制FP16砝码作为主砝码(因此混合了精度)。 https://arxiv.org/pdf/1710.03740.pdf
但是硬件中还存在混合精度运算,当数据为FP32并且权重/偏差位于FP16中时,这些运算可以加快推理速度,而支持混合精度运算的硬件可以大大加快推理速度。
例如,使用Nvidia T4时,我在YOLO3上加速了约2,而在Nvidia 1080上却没有加速。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。