TensorFlow GPU에서 실행중인 Word2Vec 모델

Question

this TensorFlow example에서 스킵 그램 Word2Vec 모델 교육이 설명되어 있습니다.

batch_size = 128 
embedding_size = 128 # Dimension of the embedding vector. 
skip_window = 1 # How many words to consider left and right. 
num_skips = 2 # How many times to reuse an input to generate a label. 

# We pick a random validation set to sample nearest neighbors. Here we limit the 
# validation samples to the words that have a low numeric ID, which by 
# construction are also the most frequent. 
valid_size = 16 # Random set of words to evaluate similarity on. 
valid_window = 100 # Only pick dev samples in the head of the distribution. 
valid_examples = np.array(random.sample(range(valid_window), valid_size)) 
num_sampled = 64 # Number of negative examples to sample. 

graph = tf.Graph() 

with graph.as_default(), tf.device('/cpu:0'): 
    # Input data. 
    train_dataset = tf.placeholder(tf.int32, shape=[batch_size]) 
    train_labels = tf.placeholder(tf.int32, shape=[batch_size, 1]) 
    valid_dataset = tf.constant(valid_examples, dtype=tf.int32) 

    # Variables. 
    embeddings = tf.Variable(
     tf.random_uniform([vocabulary_size, embedding_size], -1.0, 1.0)) 
    softmax_weights = tf.Variable(
     tf.truncated_normal([vocabulary_size, embedding_size], 
          stddev=1.0/math.sqrt(embedding_size))) 
    softmax_biases = tf.Variable(tf.zeros([vocabulary_size])) 

    # Model. 
    # Look up embeddings for inputs. 
    embed = tf.nn.embedding_lookup(embeddings, train_dataset) 

    # Compute the softmax loss, using a sample of the negative labels each time. 
    loss = tf.reduce_mean(
     tf.nn.sampled_softmax_loss(weights=softmax_weights, 
            biases=softmax_biases, inputs=embed, 
            labels=train_labels, num_sampled=num_sampled, 
            num_classes=vocabulary_size)) 

    # Optimizer. 
    # Note: The optimizer will optimize the softmax_weights AND the embeddings. 
    # This is because the embeddings are defined as a variable quantity and the 
    # optimizer's `minimize` method will by default modify all variable quantities 
    # that contribute to the tensor it is passed. 
    # See docs on `tf.train.Optimizer.minimize()` for more details. 
    optimizer = tf.train.AdagradOptimizer(1.0).minimize(loss) 

    # Compute the similarity between minibatch examples and all embeddings. 
    # We use the cosine distance: 
    norm = tf.sqrt(tf.reduce_sum(tf.square(embeddings), 1, keep_dims=True)) 
    normalized_embeddings = embeddings/norm 
    valid_embeddings = tf.nn.embedding_lookup(normalized_embeddings, valid_dataset) 
    similarity = tf.matmul(valid_embeddings, tf.transpose(normalized_embeddings)) 

GPU로 전환을 시도하고, 다음과 같은 예외가 발생 :

InvalidArgumentError (see above for traceback): Cannot assign a device for operation 'Variable_2/Adagrad': Could not satisfy explicit device specification '/device:GPU:0' because no supported kernel for GPU devices is available.

가 나는 이유가 무엇인지 궁금 그것은 명시 적으로, 즉 tf.device('/cpu:0') 계산을위한 CPU 장치를 필요로하는 다음의 코드를 포함 GPU에서 제공된 그래프를 계산할 수없는 이유는 무엇입니까? tf.int32 유형으로 인해 발생합니까? 또는 다른 최적화 프로그램으로 전환해야합니까? 즉, GPU에서 Word2Vec 모델을 처리 할 수있는 방법이 있습니까? (캐스팅하지 않고). AdagradOptimizer이 없기 때문에 에러가 발생

with graph.as_default(), tf.device('/gpu:0'): 
    # Input data. 
    train_dataset = tf.placeholder(tf.int32, shape=[batch_size]) 
    train_labels = tf.placeholder(tf.int32, shape=[batch_size, 1]) 
    valid_dataset = tf.constant(valid_examples, dtype=tf.int32) 

    embeddings = tf.Variable(
     tf.random_uniform([vocabulary_size, embedding_size], -1.0, 1.0)) 
    softmax_weights = tf.Variable(
     tf.truncated_normal([vocabulary_size, embedding_size], 
          stddev=1.0/math.sqrt(embedding_size))) 
    softmax_biases = tf.Variable(tf.zeros([vocabulary_size]))  
    embed = tf.nn.embedding_lookup(embeddings, train_dataset) 

    with tf.device('/cpu:0'): 
     loss = tf.reduce_mean(
      tf.nn.sampled_softmax_loss(weights=softmax_weights, 
             biases=softmax_biases, 
             inputs=embed, 
             labels=train_labels, 
             num_sampled=num_sampled, 
             num_classes=vocabulary_size)) 

    optimizer = tf.train.AdamOptimizer(0.001).minimize(loss) 

    norm = tf.sqrt(tf.reduce_sum(tf.square(embeddings), 1, keep_dims=True)) 
    normalized_embeddings = embeddings/norm 
    valid_embeddings = tf.nn.embedding_lookup(normalized_embeddings, valid_dataset) 
    similarity = tf.matmul(valid_embeddings, tf.transpose(normalized_embeddings)) 

Answer 1

:하기 Akshay 왈 권고 다음

---

UPDATE

여기 결과 요구를 달성한다 원래 코드의 업데이트 단편 스파 스 적용 작업을위한 GPU 커널; 임베디드 검색을 통해 차별화하면 스파 스 그라디언트가 발생하므로 스파 스 적용이 트리거됩니다.

GradientDescentOptimizer 및 AdamOptimizer은 스파 스 적용 작업을 지원합니까? 이러한 옵티 마이저 중 하나로 전환하려면 불행하게도 또 다른 오류가 발생합니다. tf.nn.sampled_softmax_loss가 GPU 커널이없는 op를 만드는 것으로 나타납니다. 이 문제를 해결하려면 loss = tf.reduce_mean(... 줄을 with tf.device('/cpu:0'): 컨텍스트로 줄 수 있습니다. 그렇다고해도 CPU-GPU 통신 오버 헤드가 발생할 수 있습니다.