【tensorflow2.0】使用多GPU训练模型

分类：Tensorflow作者：编程之家用户

如果使用多GPU训练模型，推荐使用内置fit方法，较为方便，仅需添加2行代码。

在Colab笔记本中：修改->笔记本设置->硬件加速器 中选择 GPU

注：以下代码只能在Colab 上才能正确执行。

可通过以下colab链接测试效果《tf_多GPU》：

https://colab.research.google.com/drive/1j2kp_t0S_cofExSN7IyJ4QtMscbVlXU-

MirroredStrategy过程简介：

  • 训练开始前，该策略在所有 N 个计算设备上均各复制一份完整的模型；
  • 每次训练传入一个批次的数据时，将数据分成 N 份，分别传入 N 个计算设备（即数据并行）；
  • N 个计算设备使用本地变量（镜像变量）分别计算自己所获得的部分数据的梯度；
  • 使用分布式计算的 All-reduce 操作，在计算设备间高效交换梯度数据并进行求和，使得最终每个设备都有了所有设备的梯度之和；
  • 使用梯度求和的结果更新本地变量（镜像变量）；
  • 当所有设备均更新本地变量后，进行下一轮训练（即该并行策略是同步的）。
tensorflow_version 2.x
import tensorflow as tf
print(tf.__version__)
from tensorflow.keras import * 
# 此处在colab上使用1个GPU模拟出两个逻辑GPU进行多GPU训练
gpus = tf.config.experimental.list_physical_devices('GPU'if gpus:
     设置两个逻辑GPU模拟多GPU训练
    try:
        tf.config.experimental.set_virtual_device_configuration(gpus[0],[tf.config.experimental.VirtualDeviceConfiguration(memory_limit=1024),tf.config.experimental.VirtualDeviceConfiguration(memory_limit=1024)])
        logical_gpus = tf.config.experimental.list_logical_devices()
        print(len(gpus),"Physical GPU,",len(logical_gpus),1)">Logical GPUs")
    except RuntimeError as e:
        print(e)

2.2.0-rc2

1 Physical GPU,2 Logical GPUs

一，准备数据

MAX_LEN = 300
BATCH_SIZE = 32
(x_train,y_train),(x_test,y_test) = datasets.reuters.load_data()
x_train = preprocessing.sequence.pad_sequences(x_train,maxlen=MAX_LEN)
x_test = preprocessing.sequence.pad_sequences(x_test,1)">MAX_LEN)
 
MAX_WORDS = x_train.max()+1
CAT_NUM = y_train.max()+1
 
ds_train = tf.data.Dataset.from_tensor_slices((x_train,y_train)) \
          .shuffle(buffer_size = 1000).batch(BATCH_SIZE) \
          .prefetch(tf.data.experimental.AUTOTUNE).cache()
 
ds_test = tf.data.Dataset.from_tensor_slices((x_test,y_test)) \
          .shuffle(buffer_size = 1000).batch(BATCH_SIZE) \
          .prefetch(tf.data.experimental.AUTOTUNE).cache()

二，定义模型

tf.keras.backend.clear_session()
def create_model():
 
    model = models.Sequential()
 
    model.add(layers.Embedding(MAX_WORDS,7,input_length=MAX_LEN))
    model.add(layers.Conv1D(filters = 64,kernel_size = 5,activation = relu))
    model.add(layers.MaxPool1D(2))
    model.add(layers.Conv1D(filters = 32,kernel_size = 3,1)">))
    model.add(layers.Flatten())
    model.add(layers.Dense(CAT_NUM,activation = softmax))
    return(model)
 
 compile_model(model):
    model.compile(optimizer=optimizers.Nadam(),loss=losses.SparseCategoricalCrossentropy(from_logits=True),metrics=[metrics.SparseCategoricalAccuracy(),metrics.SparseTopKCategoricalAccuracy(5)]) 
    return(model)

三，训练模型

 增加以下两行代码
strategy = tf.distribute.MirroredStrategy()  
with strategy.scope(): 
    model = create_model()
    model.summary()
    model = compile_model(model)
 
history = model.fit(ds_train,validation_data = ds_test,epochs = 10)  
WARNING:tensorflow:NCCL is not supported when using virtual GPUs,fallingback to reduction to one device
INFO:tensorflow:Using MirroredStrategy with devices (/job:localhost/replica:0/task:0/device:GPU:0',1)">/job:localhost/replica:0/task:0/device:GPU:1)
Model: sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
embedding (Embedding)        (None,300,7)            216874    

conv1d (Conv1D)              (None,296,64)           2304      

max_pooling1d (MaxPooling1D) (None,148,64)           0         

conv1d_1 (Conv1D)            (None,146,32)           6176      

max_pooling1d_1 (MaxPooling1 (None,73,32)            0         

flatten (Flatten)            (None,2336)              0         

dense (Dense)                (None,46)                107502    
=================================================================
Total params: 332,856
Trainable params: 332,1)">
Non-trainable params: 0

Epoch 1/10
INFO:tensorflow:Reduce to /job:localhost/replica:0/task:0/device:GPU:0 then broadcast to ().
INFO:tensorflow:Reduce to /job:localhost/replica:0/task:0/device:GPU:0 then broadcast to ().
INFO:tensorflow:Reduce to /job:localhost/replica:0/task:0/device:CPU:0 then broadcast to (/job:localhost/replica:0/task:0/device:CPU:0,).
INFO:tensorflow:Reduce to /job:localhost/replica:0/task:0/device:CPU:0 then broadcast to (281/281 [==============================] - 4s 15ms/step - sparse_categorical_accuracy: 0.3546 - loss: 3.5168 - sparse_top_k_categorical_accuracy: 0.7163 - val_sparse_categorical_accuracy: 0.5000 - val_loss: 3.3722 - val_sparse_top_k_categorical_accuracy: 0.7066
Epoch 2/10
281/281 [==============================] - 5s 18ms/step - sparse_categorical_accuracy: 0.5279 - loss: 3.3386 - sparse_top_k_categorical_accuracy: 0.7267 - val_sparse_categorical_accuracy: 0.5387 - val_loss: 3.3299 - val_sparse_top_k_categorical_accuracy: 0.7173
Epoch 3/10
281/281 [==============================] - 5s 18ms/step - sparse_categorical_accuracy: 0.5583 - loss: 3.3094 - sparse_top_k_categorical_accuracy: 0.7238 - val_sparse_categorical_accuracy: 0.5490 - val_loss: 3.3169 - val_sparse_top_k_categorical_accuracy: 0.7217
Epoch 4/10
281/281 [==============================] - 5s 18ms/step - sparse_categorical_accuracy: 0.5856 - loss: 3.2818 - sparse_top_k_categorical_accuracy: 0.7244 - val_sparse_categorical_accuracy: 0.5574 - val_loss: 3.3077 - val_sparse_top_k_categorical_accuracy: 0.7217
Epoch 5/10
281/281 [==============================] - 5s 18ms/step - sparse_categorical_accuracy: 0.5967 - loss: 3.2693 - sparse_top_k_categorical_accuracy: 0.7242 - val_sparse_categorical_accuracy: 0.5659 - val_loss: 3.2993 - val_sparse_top_k_categorical_accuracy: 0.7248
Epoch 6/10
281/281 [==============================] - 5s 18ms/step - sparse_categorical_accuracy: 0.6030 - loss: 3.2626 - sparse_top_k_categorical_accuracy: 0.7262 - val_sparse_categorical_accuracy: 0.5690 - val_loss: 3.2974 - val_sparse_top_k_categorical_accuracy: 0.7244
Epoch 7/10
281/281 [==============================] - 5s 18ms/step - sparse_categorical_accuracy: 0.6054 - loss: 3.2600 - sparse_top_k_categorical_accuracy: 0.7266 - val_sparse_categorical_accuracy: 0.5677 - val_loss: 3.2980 - val_sparse_top_k_categorical_accuracy: 0.7262
Epoch 8/10
281/281 [==============================] - 5s 18ms/step - sparse_categorical_accuracy: 0.6065 - loss: 3.2581 - sparse_top_k_categorical_accuracy: 0.7273 - val_sparse_categorical_accuracy: 0.5708 - val_loss: 3.2990 - val_sparse_top_k_categorical_accuracy: 0.7262
Epoch 9/10
281/281 [==============================] - 5s 18ms/step - sparse_categorical_accuracy: 0.6091 - loss: 3.2558 - sparse_top_k_categorical_accuracy: 0.7283 - val_sparse_categorical_accuracy: 0.5726 - val_loss: 3.2952 - val_sparse_top_k_categorical_accuracy: 0.7253
Epoch 10/10
281/281 [==============================] - 5s 18ms/step - sparse_categorical_accuracy: 0.6093 - loss: 3.2551 - sparse_top_k_categorical_accuracy: 0.7288 - val_sparse_categorical_accuracy: 0.5726 - val_loss: 3.2908 - val_sparse_top_k_categorical_accuracy: 0.7244

 

参考：

开源电子书地址：https://lyhue1991.github.io/eat_tensorflow2_in_30_days/

GitHub 项目地址：https://github.com/lyhue1991/eat_tensorflow2_in_30_days

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

tensorflow预测单张mnist数据集图片 — 数字识别Predict single image for MNIST dataset by tensorflow - digital reco
MNIST数据集可以说是深度学习的入门，但是使用模型预测单张MNIST图片得到数字识别结果的文章不多，所以本人查找资料，把代码写下，希望可以帮到大家~1#BudingyourfirstimageclassificationmodelwithMNISTdataset2importtensorflowastf3importnumpyasnp4impor
tensorflow环境的配置
1、新建tensorflow环境（1）打开anacondaprompt，输入命令行condacreate-ntensorflowpython=3.6注意：尽量不要更起名字，不然环境容易出错在选择是否安装时输入“y”（即为“yes”）。其中tensorflow为新建的虚拟环境名称，可以按喜好自由选择。python=3.6为指定python版本为3
张量tensor是什么
这篇文章主要介绍“张量tensor是什么”，在日常操作中，相信很多人在张量tensor是什么问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大...
tensorflow中model.fit()用法
tensorflow中model.fit()用法model.fit()方法用于执行训练过程model.fit(训练集的输入特征，训练集的标签，batch_size,#每一个batch的大小epochs,#迭代次数validation_data=(测试集的输入特征，
tensorflow如何使用gpu
https://blog.csdn.net/To_be_little/article/details/124438800 目录1、查看GPU的数量2、设置GPU加速3、单GPU模拟多GPU环境1、查看GPU的数量importtensorflowastf#查看gpu和cpu的数量gpus=tf.config.experimental.list_physical_devices(device_type='GPU')cpus=tf.c
tensorflow.js基本使用 线性回归一
根据身高推测体重const$=require('jquery');consttf=require('@tensorflowfjs');consttfvis=require('@tensorflowfjs-vis');/*根据身高推测体重*///把数据处理成符合模型要求的格式functiongetData(){//学习数据constheights=[150,151,160,161,16
tensorflow-条件循环控制5
#!/usr/bin/envpython2#-*-coding:utf-8-*-"""CreatedonThuSep610:16:372018@author:myhaspl@email:myhaspl@myhaspl.com二分法求解一元多次方程"""importtensorflowastfdeff(x):y=pow(x,3)*3+pow(x,2)*2-19return
机器学习 - 开发环境安装pycharm + tensorflow集成篇
 继续上篇的pyspark集成后，我们再来看看当今热的不得了的tensorflow是如何继承进pycharm环境的参考：http://blog.csdn.net/include1224/article/details/53452824思路其实很简单，说下要点吧1.python必须要3.564位版本（上一篇直接装的是64位版本的Anaconda）2.激活3.5版本的
怎么样在python 3 6里安装tensorflow
首先要下载python3.6:https://www.python.org/downloadselease/python-361/接着下载：numpy-1.13.0-cp36-none-win_amd64.whl 安装这两个：安装python3.6成功，接着安装numpy.接着安装tensorflow: 最后测试一下： python3.6+tensorflow安装完毕，高深的AI就等着你去
TensorFlow图像预处理完整样例
参考书《TensorFlow：实战Google深度学习框架》（第2版）以下TensorFlow程序完成了从图像片段截取，到图像大小调整再到图像翻转及色彩调整的整个图像预处理过程。#!/usr/bin/envpython#-*-coding:UTF-8-*-#coding=utf-8"""@author:LiTian@contact:694317828@qq.com
记一次windows10安装tensorflow 的过程
参考：TensorFlow在windows上安装与简单示例写在开头：刚开始安装的时候，由于自己的Python版本是3.7，安装了好几次都失败了，后来发现原来是tensorflow不支持3.7版本的python，所以后来换成了Python3.6，就成功了。。。。。anconda：5.3.2python版本：3.6.8tensorflow版本：1.12.0安装Anconda
基于Spark和Tensorflow构建DCN模型进行CTR预测
实验介绍数据采用CriteoDisplayAds。这个数据一共11G，有13个integerfeatures，26个categoricalfeatures。Spark由于数据比较大，且只在一个txt文件，处理前用split-l400000train.txt对数据进行切分。连续型数据利用log进行变换，因为从实时训练的角度上来判断，一般的标准化方式，
TensorFlow篇之TensorEditor 使用
 1）登录需要一个 invitationcode，申请完等邮件吧，大概要3-5个小时；2）界面3）配置数据集，在右边列设置 
tensorflow模型持久化保存和加载--深度学习-神经网络
模型文件的保存tensorflow将模型保持到本地会生成4个文件：meta文件：保存了网络的图结构，包含变量、op、集合等信息ckpt文件：二进制文件，保存了网络中所有权重、偏置等变量数值，分为两个文件，一个是.data-00000-of-00001文件，一个是.index文件checkpoint文件：文本文件，记录了最新保持
利用tensorflow训练自己的图片数据集——数据准备
原文地址：https://blog.csdn.net/jesmine_gu/article/details/81093686这里只是做个收藏，防止原链接失效importosimportnumpyasnpfromPILimportImageimporttensorflowastfimportmatplotlib.pyplotaspltangry=[]label_angry=[]disgusted=[]label_d
FasterRCNN目标检测实践纪实
 首先声明参考博客：https://blog.csdn.net/beyond_xnsx/article/details/79771690?tdsourcetag=s_pcqq_aiomsg实践过程主线参考这篇博客，相应地方进行了变通。接下来记载我的实践过程。  一、GPU版的TensorFlow的安装准备工作：笔者电脑是Windows10企业版操作系统，在这之前已
OpenCV & Tensorflow学习 (一)-------------------》环境搭建
1.tensorflow安装  进入AnacondaPrompt(windows10下按windows键可找到)a.切换到创建好的tensorflow36环境下:activatetensorflow36    b.安装tensorflow:pipinstlltensorflow    c.测试环境是否安装好       看到已经打印出了"h
Tensorflow 实战笔记
必须走如下步骤：sess=tf.Session()sess.run(result)sess.close()才能执行运算。Withtf.Session()assess:Sess.run()通过会话计算结果：withsess.as_default():print(result.eval())表示输出result的值生成一个权重矩阵：tf.Variable(tf.random_normal([2,3]
Tensorflow函数：tf.zeros
tf.zeros函数tf.zeros(shape,dtype=tf.float32,name=None)定义在：tensorflow/python/ops/array_ops.py.创建一个所有元素都设置为零的张量. 该操作返回一个带有形状shape的类型为dtype张量,并且所有元素都设为零.例如：tf.zeros([3,4],tf.int32)#[[0,0,
01炼数成金TensorFlow基本概念
一、Tensorflow基本概念1、使用图（graphs）来表示计算任务，用于搭建神经网络的计算过程，但其只搭建网络，不计算2、在被称之为会话（Session）的上下文（context）中执行图3、使用张量（tensor）表示数据，用“阶”表示张量的维度。关于这一点需要展开一下       0阶张量称
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot