TensorFlow分布式计算

本章将重点介绍如何开始使用分布式TensorFlow，目的是帮助开发人员了解重复出现的基本分布式TF概念，如TF服务器。无涯教程将使用Jupyter Notebook分布式TensorFlow。

第1步   -  导入分布式计算必需的必要模块-

import tensorflow as tf

第2步   -  创建具有一个节点的TensorFlow集群，让此节点负责一个名称为" worker"的作业，该作业将在localhost:2222进行一次操作。

cluster_spec=tf.train.ClusterSpec({'worker' : ['localhost:2222']})
server=tf.train.Server(cluster_spec)
server.target

上面的脚本生成以下输出-

'grpc://localhost:2222'
The server is currently running. 

第3步   -  可以通过执行以下命令来计算具有相应会话的服务器配置-

server.server_def

上面的命令生成以下输出-

cluster {
   job {
      name: "worker"
      tasks {
         value: "localhost:2222"
      }
   }
}
job_name: "worker"
protocol: "grpc"

第4步   -   在执行引擎为服务器的情况下启动TensorFlow会话，使用TensorFlow创建本地服务器，然后使用 lsof 查找服务器的位置。

sess=tf.Session(target=server.target)
server=tf.train.Server.create_local_server()

第5步   -   查看此会话中可用的设备并关闭相应的会话。

devices=sess.list_devices()
for d in devices:
   print(d.name)
sess.close()

上面的命令生成以下输出-

/job:worker/replica:0/task:0/device:CPU:0