pyspark

0열

1답변

파일에서 데이터를 읽고 Spark/PySpark의 FPGrowth 알고리즘에 전달하는 방법

파일 (쉼표로 구분 된 항목)에서 데이터를 읽고 PySpark를 사용하여이 데이터를 FPGrowth 알고리즘에 전달하려고합니다. import pyspark from pyspark import SparkContext sc = SparkContext("local", "Assoc Rules", pyFiles=[]) txt = sc.textFile("st

python algorithm pyspark apache-spark-mllib 2017-12-11

---

0열

1답변

여러 가지 인자로 함수를 다루는 방법, 인자의 데이터는 로컬 파일에서 생성 된 rdd에서 나온다.

예를 들어, 우리는 두 개의 파일 인 a.txt와 b.txt 파일을 추가하려고한다. 함께. 어쩌면 내 경우는 추가가 아니며, 스파크의 여러 인수를 사용하여 함수를 처리하는 방법 만 테스트하려는 경우 인수의 데이터는 로컬 파일에서 생성 된 rdd에서 가져온 것입니다. 우리는 코드로, 하나 개의 파일의 데이터에 번호를 추가 할 수 있습니다 a_data = sc

python apache-spark pyspark 2017-12-11

---

0열

1답변

PySpark python 문제 : Py4JJavaError : o48.showString을 호출하는 중 오류가 발생했습니다.

안녕하십니까. 저는 PySpark Python에서 작업 중이며 코드를 언급하고 일부 문제가 발생했습니다. 누군가 다음 문제를 알고 있는지 궁금합니다. windowSpec = Window.partitionBy(df_Broadcast['id']).orderBy(df_Broadcast['id']) windowSpec IdShift = lag(df_Broad

python-3.x pyspark 2017-12-11

---

-1열

2답변

Pyspark - 언어를 기반으로 행 필터링

이 문제는 Pyspark와 관련이 있습니다. 필자는 컬럼이 거의없는 TSV 파일을 읽었습니다. 특정 열은 주석 열입니다. 내 임무는 언어에 따라 행을 필터링하는 것입니다. 예를 들어, 주석이 러시아어로 된 경우 특정 행을 필터링하여 별도의 파일로 저장하려고합니다. 이제 파일을 읽는 동안 Dataframes를 만드는 코드를 사용하고 있습니다. Info = s

python apache-spark pyspark spark-dataframe pyspark-sql 2017-12-12

---

-1열

1답변

는 RDD은 [목록 [문자열]] RDD에 예를 들어

[목록 [] 플로트]로 변환하는 방법, 지역 data.txt 파일의 구조는 다음과 같습니다 : RDD [문자열]로 파일 읽기 1.0 2.0 3.0 4.0 5.0 6.0 7.0 8.0 ... RDD [목록 [문자열]에 lines = sc.textFile("data.txt") 분할 : data_temp = lines.map(lambda li

python apache-spark pyspark 2017-12-12

---

0열

1답변

Zeppelin - 동적 폼의 기본값 동적 업데이트

동적으로 selectForm의 기본값을 업데이트하는 방법을 찾고있었습니다. 내 코드는 다음 %spark2.pyspark d_var = {} d_var['one'] = ["0"] d_var['two'] = ["1"] keys = [] values = [('0', 'True'), ('1', 'False')] for key in sorted(d_va

pyspark apache-zeppelin zeppelin 2017-12-12

---

-1열

1답변

pyspark에서 .collect()를 향상시키는 방법은 무엇입니까?

.collect()의 성능을 향상시킬 수 있도록 pyspark를 조정하는 다른 방법이 있습니까? 저는 map(lambda row: row.asDict(), x.collect())을 사용하고 있는데, 10K 레코드에 대해 5 초 이상 걸립니다.

pyspark pyspark-sql 2017-12-12

---

0열

1답변

필터 스파크 RDD와 PySpark가 열 이름과 그 수치에 의해

나는 Scala/Spark 모델을 Python/Spark로 번역 중이다. 문제는 약 1 백만 회의 관측과 약 33 개의 열이있는 RDD가 있다는 것입니다. 숫자 임계 값 ('시간')을 기준으로 RDD를 분할합니다. 시간 변수는 숫자 형식 (double) (posix가 아님)입니다. 여기 // get the time to split the data. val

python scala apache-spark pyspark rdd 2017-12-12

---

0열

2답변

json에서 데이터 프레임을 생성하는 동안 스키마를 추론하지 않는 방법은 무엇입니까?

jsons 그룹에서 데이터 프레임을 생성하는 동안 스키마를 추론하고 싶지 않지만 CSV에서 읽을 때처럼 inferSchema = 'false'을 전달할 수 없습니다. 여기에 데이터 읽기 방법입니다 잠시 동안보고 후 df = spark.read.json(r's3://mypath/')

python json apache-spark pyspark 2017-12-12

---

0열

1답변

Spark는 pandas date time 데이터 유형을 bigint로 변환합니다.

pd_df이라는 pandas 데이터 프레임이 있습니다. 아래는 데이터 유형입니다. pd_df.dtypes id int64 TEST_TIME datetime64[ns] status object Pkg object test_type object test_name object test_id int64 t

python pandas pyspark 2017-12-13

---