그래프 간 복제의 분산 텐서 흐름? 코드에서

Question

봐 내가 쓴 :

import tensorflow as tf 


tf.flags.DEFINE_string('job_name', 'ps', 'worker or ps') 
tf.flags.DEFINE_integer('task_index', 0, 'task id') 
FLAGS = tf.flags.FLAGS 

host = '127.0.0.1:' 
cluster = {"ps": [host+'2222'], 
      "worker": [host+'2223', host+'2224']} 
clusterspec = tf.train.ClusterSpec(cluster) 

server = tf.train.Server(cluster, 
         job_name=FLAGS.job_name, 
         task_index=FLAGS.task_index) 

def print_fn(): 
    print('job_name: %s, task_index: %d' % (FLAGS.job_name, FLAGS.task_index)) 


if FLAGS.job_name == 'ps': 
    server.join() 
elif FLAGS.job_name == 'worker': 
    with tf.device(tf.train.replica_device_setter(
     worker_device="/job:worker/task:%d" % FLAGS.task_index, 
     cluster=cluster)): 

     a = tf.Variable(tf.zeros([]), name='a') 
     b = tf.Variable(tf.zeros([]), name='b') 
     op = tf.add(a, b) 
     print(a.device) 
     print(b.device) 
     print(op.device) 
     print(tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES)) 
print_fn() 

나는 cmd에서 python distributed_replicas.py --job_name=worker --task_index=0 실행되지만 이전 python distributed_replicas.py --job_name=ps --task_index=0를 실행하지 프로그램도 작동합니다. a.device과 b.device은 모두 /job:ps/task:0이지만 ps server은 시작되지 않습니다. a 및 b은 ps server에 어떻게 저장됩니까? 그리고 tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES)에는 a과 b이라는 변수가 포함되어 있습니다. 이는 /job:worker/task:0에 a과 b이 생성되었지만 기기가 /job:ps/task:0인데 무엇이 문제입니까? a 및 b은 어디에 있습니까?

Answer 1

이것은 의도 한 동작입니다. 코드에서이 시점까지는/care 작업을 수행 할 필요가없는 그래프 만 만들었습니다.

세션 (또는 세션 변형)을 만든 후에 문제가 발생합니다. 여기

더 많은 정보 : 코드는`master` 분산 그래프를 분할 만들 https://www.tensorflow.org/extend/architecture