나는 아주 바보 같거나 너무 운동하기 때문에 운동을해야하므로 정말 어리석은 짓을해야합니다. 하지만 옵션이 없어졌습니다. 그래서 여기에 질문이 있습니다. 저는 마루 테이블 하이브/스 니피/80files, 400M/rows, 8 열 중에서 데이터를로드하기 위해 분산 된 분산을 사용하고 있습니다. 필사적으로 나는 단 하나의 열을 읽고 그 합을 계산하여 아무 소용
다음 테스트에서 예기치 않은 동작이 나타납니다. 내가 오해했을 수도 있지만 현재 나는 아이디어가 부족하고 의견을 주셔서 감사합니다. 다음 테스트를 고려하십시오. # test passing an object
from dask import delayed, compute, get, set_options
# for testing the caching
from
큰 데이터 세트를 가져 와서 병합해야합니다. 나는 이와 비슷한 다른 질문을 알고 있지만 내 문제에 대한 답변을 찾을 수 없었다. dask을 사용하면 큰 데이터 세트를 데이터 프레임으로 읽을 수 있었지만 다른 데이터 프레임과 병합 할 수 없었습니다. import dask.dataframe as dd
import pandas as pd
#I have to
위치별로 dask 데이터 프레임을 인덱싱해야하는 상황이 있습니다. 사용할 수있는 방법이 .iloc이 아닙니다. 대안이 있습니까? 아니면 레이블 기반 색인을 사용해야합니까? 예를 들어, 나는 import dask.dataframe as dd
import numpy as np
import pandas as pd
df = dd.from_pandas(pd.D
TL; DR : 은 동시에 병렬 여러 DASK Dataframes 에 .set_index() 방법으로 가능한가? 또는 여러 Dask Dataframes에 지연적으로 을 넣을 수 있습니까? 결과적으로 인덱스 이 동시에 으로 설정 될 수 있습니까? 여기 는 시나리오 : I가 저장되는 여러 시계열 때마다 시리즈를 .csv여러 개의 파일입니다. 각 파일에는 특정
S3에 두 개 (또는 그 이상)의 병렬 텍스트 파일이 저장되어 있습니다. 즉, 첫 번째 파일의 첫 번째 줄 1은 두 번째 파일의 줄 1과 일치합니다. 이러한 파일을 열 데이터 프레임을 삭제합니다. 가장/가장 쉬운 방법/가장 빠른 방법은 무엇입니까? 추신. 개별 데이터 프레임으로 각각을 읽을 수는 있지만 데이터 프레임 인덱스 값이 고유하지 않고 단조롭지 않기
이 메모리에 DASK의 dataframe의 로딩 부분 집합의 유효한 방법이다 더 작은 판다 dfs로 데이터 프레임. 또한 dask 데이터 프레임에 iloc 속성이 있다고 생각하지 않습니다. 버전 0.15.2를 사용 중입니다. 사용 사례 측면에서 보면 일괄 학습을 통해 일괄 적으로 학습을 수행 할 수 있습니다 (예 : keras).
google compute engine에서 실행되는 상호 의존적 인 작업을 많은 일정으로 배분하여 사용합니다. 작업자가 중간 정도 인 추가 인스턴스를 시작하면 작업을 예약하지 않습니다 (스케줄러에 등록해도 괜찮습니다). 나는이 때문에 (http://distributed.readthedocs.io/en/latest/scheduling-state.html#di
플로트 숫자 스트림을 읽고 간단한 계산을하고 값을 전체 목록에 추가하고 싶습니다. 내가 잘못 이해했는지 말해 줄 수 있니? 목록이 추가되지 않습니다. from random import random
from time import sleep
def process(x):
from random import random
sleep(random