Google App Engine에서 데이터 저장소의 많은 엔티티 업데이트

Question

특정 종류의 모든 엔티티에 대해 작은 작업을 수행하고이를 데이터 스토어에 다시 작성하고자합니다. 현재이 종류의 20,000 개 엔티티가 있지만 어떤 규모로도 확장 할 수있는 솔루션을 원합니다.

내 옵션에는 어떤 것이 있습니까?

Answer 1

mapper 사용 - 이것은 MapReduce 프레임 워크의 일부이지만 단순히 데이터 스토어 엔티티를 변경하는 경우 셔플/감소 단계가 필요하지 않으므로 첫 번째 구성 요소 인 map 만 원합니다.

Answer 2

다니엘은 정확하지만 맵퍼를 망치고 싶지 않다면 앱에 다른 라이브러리를 추가해야합니다. Task Queues을 사용하거나 SDK 1.2 이후에 포함 된 deferred library을 사용하면 더 간단합니다. .삼.

20.000 엔티티는 그렇게 극적이지 않으며이 작업이 정기적으로 수행되지는 않는다고 가정합니다 (하지만 그렇게해도 가능합니다).

다음은 NDB과 지연된 라이브러리를 사용하는 예제입니다 (DB를 사용하면 쉽게 할 수 있지만 아직 사용하지 않으면 NDB로 전환하는 것을 고려하십시오). 꽤 직선적 인 방법이지만, 제한 시간을 신경 쓰지 않아도됩니다.

def update_model(limit=1000): 
    more_cursor = None 
    more = True 
    while more: 
    model_dbs, more_cursor, more = Model.query().fetch_page(limit, start_cursor=more_cursor) 
    for model_db in model_dbs: 
     model_db.updated = True 
    ndb.put_multi(model_dbs) 
    logging.info('### %d entities were updated' % len(model_dbs)) 

class UpdateModelHandler(webapp2.RequestHandler): 
    def get(self): 
    deferred.defer(update_model, _queue='queue') 
    self.response.headers['Content-Type'] = 'text/html' 
    self.response.out.write('The task has been started!')