spark-dataframe

1열

1답변

를 사용하지 않고 나는 아래 형식의 JSON 파일이 {"sku-1":{"att-a":"att-a-7","att-b":"att-b-3","att-c":"att-c-10","att-d":"att-d-10","att-e":"att-e-15","att-f":"att-f-11","att-g":"att-g-2","att-h":"att-h-7","att-i":"att-

1열

1답변

스파크 - 열 이름이 작동하지 않는 데이터 프레임에 필터/맵 적용

죄송합니다. 중복 인 경우 죄송 합니다만 지적 된 해결책은 저에게 효과가 없습니다. 대부분 나는 여기에 기본적인 것을 놓치고 있습니다. 내가 (스칼라) 이렇게하여 "상태"(String 형의)라는 필드를 기준으로 여기에 관심있는 "행"의 일부를 필터링하기 위해 노력하고 inputDF: org.apache.spark.sql.DataFrame = [ts: str

1열

1답변

EMR 스파크 단계 및 하나의 파일로 출력 병합

나는 emr 스파크 단계를 시도하고있다. 입력 s3 디렉토리가 있습니다. 어떤 여러 파일을 가지고 F1, F2, F3 이 같은 스파크 단계를 추가 오전 : delimitedData.write.mode(SaveMode.Append).parquet(output) I 직면하고 문제가 : I aws emr --region us-west-2 add-steps -

0열

1답변

정렬을 사용하여 행을 찾을 수 없습니다. LSH 이후

LSP를 사용하여 ALS 알고리즘을 사용한 후 pyspark를 사용했는데 탐색 중에 잃어버린 행이있는 것을 우연히 발견 할 때까지 모든 것이 올바르게 작동합니다. 모든 것은 Spark LSH 문서 예제의 도움으로 구현되었습니다. https://spark.apache.org/docs/latest/ml-features.html#tab_scala_28 idA =

0열

1답변

ValueError : pyspark의 비 패키지에서 상대 가져 오기 시도/kmodes 모듈 (pyspark)을 찾을 수 없음

ValueError : pyspark의 비 패키지에서 상대적 가져 오기를 시도했습니다. 위의 오류는 내가 pyspark에서 kmode를 사용하려고 할 때 발생합니다. 따라서 kmod 패키지를 sc.addFile ("home/pyspark-distributedkmodesmaster/pyspark_kmodes/pyspark_kmodes.py")을 사용하여 pa

2열

1답변

닫기 타임 스탬프 항목 삭제

중복 항목 인 모든 레코드를 삭제하고 싶지만 타임 스탬프의 차이가 오프셋으로 표시 될 수는 있지만 간단하게 2 분이 사용됩니다. +-------------------+-----+----+ |Date |ColA |ColB| +-------------------+-----+----+ |2017-07-04 18:50:21|ABC |DEF | |201

-2열

1답변

두 필드로 데이터를 그룹화하는 방법은 무엇입니까?

나는 pyspark의 DataFrame의 그룹 데이터에 원하고, 다음과 같이 나는 단지 하나의 필드 field1 때 나는 그것을 할 : groups = df.select("field1").distinct().flatMap(lambda x: x).collect() dfs = [df.where(df["field1"] == g) for g in groups]

0열

1답변

헤더 및 데이터 파일을 사용하여 헤더가있는 데이터 프레임을 만듭니다.

두 개의 파일 data.csv 및 headers.csv가 있습니다. 머리글을 사용하여 spark/scala에서 dataframe을 만들고 싶습니다. var data = spark.sqlContext.read.format( "com.databricks.spark.csv").option("header", "true" ).option("infer

1열

1답변

간단한 수를 호출은()

클러스터 관리자 실패 원사를 배포 모드 : 없음 배포 모드가 없음으로 설정되어있는 경우 내가 들었다 , 드라이브 프로세스의 표준 출력은 루트 경로에 온다, 드라이버 프로세스의 내부 컨테이너 ID 대신. SparkUI 로그 : 오류를 Container executed on lost node... 을 부여 내가 다른 모든 dataframes를 unpersist

1열

1답변

Sparkr Dataframe을 R 코드로 호출하는 방법은 무엇입니까?

아파치 서버에서 SparkR로 만든 데이터 프레임이 있습니다. 데이터를 처리하고 기능을 추출하려면 R 코드로 호출해야합니다. 누군가가 SparkR df를 R로 읽는 방법을 말해 줄 수 있습니까? SparkR의 DF : sqlContext <- sparkRSQL.init(sparkR.session) myframe <- filter(read.df(sqlCon