pyspark

1열

1답변

나는 Microsoft Azure에서 PySpark HDInsight 클러스터를 사용하여 기계 학습 프로젝트를하려고합니다. 내 클러스터에서 작동하려면 Jupyter 노트북을 사용하십시오. 또한 Azure BLOB 저장소에 저장된 데이터 (CSV 파일)가 있습니다. 문서에 따르면 내 파일에 대한 경로의 구문은 다음과 같습니다 path = 'wasb[s]://

0열

1답변

거리에 대한 Spark SQL 데이터 프레임 필터링

위도 및 경도 열이있는 Spark SQL DataDrame을 가지고 있는데, 입력 거리를 계산하여 임계 값 아래로 떨어지는 행을 필터링하려고합니다. 내 현재 코드는 다음과 같습니다. 위도가 긴 쌍 사이의 거리를 계산할 때 geopy (great_circle)을 사용하고 있습니다. 이 코드를 실행하면 from geopy.distance import great

2열

1답변

콜론으로 구분 된 문자열을 MapType으로 변환하는 방법은 무엇입니까?

지도 (키 - 값 쌍 포함)를 다른 행으로 분해하기 위해 Dataframe을 RDD로 변환하려고합니다. Info = sqlContext.read.format("csv"). \ option("delimiter","\t"). \ option("header", "True"). \ option("inferSchema", "True"). \ load("fil

0열

1답변

PySpark DataFrame의 행 단위 집계

행 단위 작업을 수행하는 함수를 사용하여 집계하려는 Pyspark DataFrame이 있습니다. 는 I는 4 열을 가지고 있고, 열 AI의 각 고유 값을 컬럼 B, C, D I이 방법에 사용하고있는 행 단위 통합해야 : 을 이 사용하는 독특한 값을 가져 A_uniques = df.select('A').distinct() def func(x):

0열

1답변

PySpark - 여러 개의 키로 집계 또는 축소 하시겠습니까?

나는 다음과 같은 튜플 형식의 RDD 있습니다 ((a, (b,c)), (d, f, g)) 을 나는 (a, (b,c))에 의해 그룹화 할 만 같은 d에 의한 금액 : 여러 개의 키에 의해 그룹 pySpark 어떤 기능으로 수행 할 수있는 방법을 이 경우에는 reduceByKey 또는 aggregateByKey가 더 최적입니까?

0열

1답변

Pyspark - pyspark에서 현재 비즈니스 뷰를 생성합니다.

pyspark에서 bussiness 현재 뷰를 생성해야하며, 내역 파일과 델타 파일 (ID와 날짜 포함)이 있습니다. 최종 데이터 프레임을 생성해야합니다. 각 id에 대한 단일 레코드가 있고 그 레코드는 최신 날짜 여야합니다. df1=sql_context.createDataFrame([("3000", "2017-04-19"), ("5000", "2017-0

0열

1답변

목록을 사용하지 않고 Dataframe의 isin()을 사용하는 방법이 있습니까?

목록을 사용하지 않고 Dataframe의 isin()을 사용할 수 있습니까? 나는 pyspark docs을보고 있는데 문자열이나 목록이있는 것 같습니다. 문자열이나 목록이 절대적으로 방대하면 어떨까요? 대안이 있습니까?

0열

1답변

랜덤 포레스트 분류기 - 인덱스 레이블 태그를 다시 문자열 값으로 변환

텍스트 분류를하고 파이프 라인 방법을 사용하여 모델을 구축했습니다. 나는 데이터 프레임을 사용하여 만든 내 훈련 데이터에 적합하며 "레이블"과 "문장"열이 있습니다. 레이블에는 다른 질문 유형이 있습니다. tokenizer = Tokenizer(inputCol="sentence", outputCol="words") wordsData = tokenizer.

1열

1답변

람다 안에서 정규 표현식을 사용하는 pyspark 분할 문자열

람다 함수 내부의 정규 표현식을 기반으로 문자열을 분할하려하지만 문자열이 분할되지 않습니다. 나는 정규 표현식이 잘 동작하고 있다고 확신한다. 정규식 테스트 링크 https://regex101.com/r/ryRio6/1 을 확인 from pyspark.sql.functions import col,split import re r = re.compile(

-1열

1답변

Pyspark G1 Garabage Collector

GC 수집기가 부족하다는 내 pyspark에 오류가 있습니다. G1 가비지 수집기에 대한 기사를 읽었으므로 사용해보고 싶습니다. pyspark 응용 프로그램에서 어떻게 설정합니까? 나는 그것에 대한 어떤 지시도 찾을 수 없었다 .. 고마워! 자바의 수는 이것은 시작이다 오브젝트에