루이지를 사용하여 플로우를 생성하는 데 비교적 익숙하지 않고 작은 워크 플로우가 충족되지 않은 종속성을 초래하는 이유를 이해하려고합니다. 하나의 종속성 ErrorsLogFile()이있는 StageProviders() 작업을 실행하려고합니다. StageProviders가 실행되기 전에 실행해야하는 작업은 단순히 공유 드라이브에 빈 파일을 만드는 작업입니다.이
Luigi와 파이프 라인을 테스트 중이므로 작업 시각화 프로그램에서 이상한 캐싱 동작을 발견했습니다. 한 가지 일로, 일정 시간 동안 캐시에 작업이 남아있는 것처럼 보이고 파이프 라인의 두 번째 실행에서 작업과 겹치기 때문에 UI가 복잡해집니다. 나는 또한 두 파이프 라인이 계속해서 실행될 때 새로운 파이프 라인의 작업을 표시하는 데 시간이 걸린다는 사실을
이것은 반복적 인 ETL 프로세스에서 수행 할 패턴과 관련하여 내 previous question까지의 후속 조치입니다. 오늘 제가 작성한 기계 학습 작업은 수동으로 수행됩니다. 필요한 입력 파일을 다운로드하고, 학습하고 예측하며, .csv 파일을 출력 한 다음 데이터베이스로 복사합니다. 그러나 제작이 시작될 예정이므로이 모든 과정을 자동화해야합니다. 필요
에서 일률적 인 작업 배포로 인해 일찍 죽어가는 노동자 docker swarm 클러스터에 배포 된 간단한 파이프 라인을 실행하려고합니다. 루이지 노동자는 복제 된 도커 서비스로 배치됩니다. 그들은 성공적으로 시작하고 luigi-server에 대한 작업을 요청한 후 몇 초가 지나면 작업이 할당되지 않아 죽기 시작하고 모든 작업은 단일 작업자에게 할당됩니다.
명령 줄에서 luigi를 통해 실행하는 작업이 필요한 모든 업스트림 데이터를 가져오고 처리 할 때까지 올바른 작업 파이프가 있습니다. 그것은 내 데이터베이스에 밖으로 물방울. class IMAP_Fetch(luigi.Task):
"""fetch a bunch of email messages with data in them"""
date =
AWS의 Postgres 데이터베이스에 테이블을 생성하는 Luigi 작업을 정의하려고합니다. 처럼, 항상 비슷한 import luigi.contrib.postgres.CopyToTable
from luigi.contrib.postgres import CopyToTable
import luigi.contrib.postgres
from luigi.cont
Openstack에서 루이지를 사용하여 워크 플로우를 관리하고 싶습니다. 나는 루이지를 처음 보았습니다. 초보자를 위해 Openstack을 인증하고 Luigi를 사용하여 이미지 목록, 맛 목록 등을 가져오고 싶습니다. 도움이 될 것입니다. 저는 파이썬에는 좋지 않지만 아래 코드를 시도했습니다. 이미지를 나열 할 수도 없습니다. 오류 : glanceclien
S3 버킷에 덤프를 업로드하고 공유하는 일상적인 작업이 있습니다. 아래의 코드가 작동하는 동안 어떤 이유로 파일을 덮어 쓰지 않으려합니다. - 그것은 S3에 대한하지 않습니다는 로컬 파일에 대한 작동하지만 path = luigi.Parameter(default=glob(DATA_DIR)[-2], batch_method=max) 2) resources = {
이 문제가 발생합니다. 작업 관리를 위해 SciLuigi 프레임 워크를 사용하고 있지만 병렬 작업을 실행할 수 없습니다. class Workflow(sl.WorkflowTask):
def workflow(self):
task1 = self.new_task('task 1', Task1)
task2 = self.new_task(