luigi

1열

1답변

Python Luigi 작업 관리자에서 서브 플로우를 어떻게 표현합니까?

흐름 A -> B가 있다고 가정합니다. 이 흐름의 사용자는 B가 필요합니다. B가 필요한 작업 C가 있다고 가정하지만 D가 흐름 A-> B 전에 발생하기를 원합니다. Luigi에서 어떻게해야합니까?

1열

1답변

동시에 여러 Luigi 작업 흐름을 실행할 때, 작업자 수가 합산됩니다. 즉, 두 개의 워크 플로를 함께 실행하고 작업자 수가 n으로 설정된 경우 luigi.cfg 파일에서 워크 플로가 동시에 n 명 이상의 작업자를 사용하는 경우 중앙 스케줄러는 2xn 근로자. Luigi의 설명서에서 동시에 12 개의 워크 플로를 실행하더라도 직원 수를 n으로 제한 할 수

0열

1답변

루이지 파이프 라인의 서로 다른 두 지점에서 작업을 재사용 할 수 있습니까?

루이지 파이프 라인을 개발 중이며 큰 문제가 있습니다. 동일한 파이프 라인에서 작업을 재사용 할 수있는 방법이없는 것 같습니다. 난 후 나는 무엇을 설명하기 위해, 다음과 같은 작업 흐름을 고려 Collect_Data → Clean_data → Task_on_data_A → Task_on_data_B ↳ Sample_data → Task_on_data_A

0열

1답변

Luigi에서 일반 작업 재사용

Luigi에서 재사용 가능한 작업을 수행하는 방법을 이해하는 데 어려움을 겪고 있으며이를 구체적인 상황에서 사용하고 있습니다. 예를 들면. 그때 파일과 출력 결과 뭔가를 할 두 가지 일반적인 작업이 있습니다 class FilterSomeFile(luigi.WrapperTask): def requires(self): return GffFi

1열

1답변

Windows에서 luigi의 로깅 수준을 변경하려면 어떻게합니까?

내 실행 디렉토리에 luigi.cfg를 만들었습니다. 이 사본을 가리 키도록 LUIGI_CONFIG_PATH 변수를 설정하십시오. 내 자신의 로깅 구성 파일을 INFO로 설정하십시오. 그러나 나는 여전히 모든 디버그 메시지를 얻는다. 설정 파일은 다음과 같습니다 [core] log_level=INFO no_configure_logging=True

1열

1답변

여러 작업자와 함께 luigi에서 로깅을 구성하는 방법은 무엇입니까?

luigi에서 응용 프로그램을 실행하는 동안 로깅은 표준 출력과 파일로 전달됩니다. 이것은 노동자 = 1에서 잘 작동합니다. 그러나 worker = 4로 설정하자마자 응용 프로그램 로깅을 얻지 못합니다. 여러 작업자가 기록 할 수 있습니까?

0열

1답변

Luigi framework crash

luigi 작업을 실행할 때 가끔 프레임 워크 충돌이 발생하여 다음 작업이 모두 실패합니다. 다음은 오류 로그 정보는 : 2017-10-05 22:02:02,564 luigi-interface WARNING Failed pinging scheduler 2017-10-05 22:02:03,129 requests.packages.urllib3.connecti

0열

1답변

이미지 처리를위한 파이프 라인 생성

나는 매우 단순한 일부 이미지 처리 단계를 수행 중이다. 여기 단계는 다음과 같습니다 가능하면 GIF에서 재 포맷 이미지 또는 무엇이든 확인 이미지 크기 크기 조정 이미지를 JPG로 특정 ID에 대한 AWS의 S3에서 다운로드 이미지 (그냥 생각했다 : 업 샘플/이미지 다운 샘플링 - 확실하지 아직 그 단계가 오는 경우) 분류 이미지와 업데이트 데이터베이스

0열

1답변

루이지 (Luigi)는 많은 작은 파일 (100k +) 주위에 파이프 라인을 구축하는 데 적합합니까?

내 첫 번째 반응은 루이지가 이런 종류의 일에 적합하지 않다는 것입니다. 그러나 나는 "파이프 라인"기능을 원합니다. Luigi/Airflow (으)로 Windows 환경이므로 Airflow를 사용할 수 없습니다. 내 사용 사례 : 내 '소스'폴더에서 지금 현재 우리는 XML 데이터를 생성 20 정도 기계가 있습니다. 시간이 지남에 따라 일부 프로세스는 이

1열

2답변

luigi 일괄 처리 모듈이 직선 일괄 처리입니다. 작업

다운로드 할 500 개의 링크가 있으며 예를 들어 10 개의 항목별로 배치 할 수 있습니다. 이 의사 코드는 어떻게 될 것입니까? class BatchJobTask(luigi.Task) items = luigi.Parameter() def run(self): listURLs = [] with ('urls_chunk',