pyspark

0열

1답변

Error : com.mongodb.MongoCursorNotFoundException : MongoDB에서 Spark로 읽는 중

2 억 3 천 4 백만 레코드로 Spark에서 MongoDB의 모음을 읽으려고합니다. 1 필드 만 원한다. case class Linkedin_Profile(experience : Array[Experience]) case class Experience(company : String) val rdd = MongoSpark.load(sc, ReadCon

mongodb apache-spark pyspark apache-spark-sql pyspark-sql 2017-12-24

---

0열

1답변

pyspark에서 RDD 의존성을 검색하는 방법은 무엇입니까?

PySpark에서 RDD의 의존성을 검색하려면 어떻게해야합니까? public final scala.collection.Seq<Dependency<?>> dependencies() 내가 PySpark RDD class에 상응하는 방법을 볼 수 없었다 : 스칼라는 dependencies() 방법이있다. PySpark에서 RDD 의존성을 검색 할 수있는 다른

python apache-spark pyspark rdd 2017-12-24

---

0열

1답변

Windows에서 Spark 설치가 작동하지 않습니다.

Windows 10 컴퓨터에 Apache Spark을 설치하려고합니다. 스파크를 설치하는 내 첫 번째 단계는이 다음이 경로를 통해 다운로드 한 Java from here를 다운로드하는 것이 었습니다 : C:\Program Files (x86)\Java 설치하는 동안 다운로드 된 하나 개의 폴더가 있었다 : \jre1.8.0_151가 다음 내가 JDK fro

java windows scala apache-spark pyspark 2017-12-26

---

0열

1답변

Pyspark와 Pandas는 공인 인증을 받았습니까?

나는 기존 Pandas 코드에 Pyspark 데이터 프레임을 통합/추가하는 데 많은 어려움을 겪고 있습니다. 1) Pandas 데이터 프레임을 Pyspark 데이터 프레임으로 변환하면 Pyspark 데이터 프레임이 Pandas 데이터 프레임만큼 풍부하지 않으므로 여러 작업이 제대로 변환되지 않습니다. 2) 동일한 코드 내에서 다른 데이터 세트를 처리하기 위

pandas apache-spark pyspark spark-dataframe 2017-12-26

---

-3열

1답변

Spark에서 인덱스로 요소를 얻는 방법 RDD (Java) scala가 아닌 scala, python

RDD의 첫 번째 요소를 제공하는 rdd.first() 메서드를 알고 있습니다. 또한 rdd.take(num)이라는 메서드가 있는데이 요소는 첫 번째 num 요소를 제공합니다. 그러나 색인으로 요소를 가져올 가능성이 없습니까?

java python apache-spark pyspark rdd 2017-12-26

---

0열

1답변

키를 일치시키고 데이터 프레임을 사용하지 않고 pyspark에있는 2 개의 RDD를 연결하십시오.

2 개의 RDD가 있습니다. RDD 1: [['1', 'user1', 'Name1'], ['2', 'user4', 'Name2']] RDD 2: [['5', '1a', '3', '99', 'g1'], ['11', '2b', '1', '99', 'g2'], ['12', '3c', '2', '99', 'g3']] 나는 등 RDD2의 세번째 필드

python apache-spark join pyspark rdd 2017-12-26

---

1열

1답변

PySpark : 처리중인 100000 열 데이터 세트

Cloudera Spark 2를 사용하고 있습니다. 클러스터에 Kerberos가 구현되어 있습니다. 400000x100000의 CSV 데이터 세트가 있습니다. 500GB가 있습니다. 내가 다음과 같은 짓을 : df = spark.read.csv('largefile.csv',header=Ture,maxCoulmns=100000) print(df.count()

csv apache-spark pyspark kerberos large-files 2017-12-26

---

1열

1답변

Ax = b Solver on coordinate matrix Apache Spark

Apache spark를 사용하여 Ax = b 문제를 어떻게 해결할 수 있습니까? 내 입력 좌표 행렬이다 import numpy as np import scipy from scipy import sparse row = np.array([0, 3, 1, 0]) col = np.array([0, 3, 1, 2]) data = np.array([4, 5

python-3.x apache-spark pyspark 2017-12-26

---

0열

1답변

PySpark의 파티션 내에서 데이터 프레임에 합류합니다.

두 개의 데이터 프레임에 수백 (수천만에서 수백만) 개의 행이 있습니다. 나는 그들 사이에 조인을하고 싶습니다. 현재 사용하고있는 BI 시스템에서 특정 키를 먼저 분할 한 다음 해당 키를 조인하여이 작업을 빠르게 수행 할 수 있습니다. 이 패턴은 내가 스파크에서 따라야 할 패턴입니까, 그렇지 않습니까? 언뜻보기에는 미리 파티션 된 것이 아니기 때문에 많은

apache-spark pyspark spark-dataframe 2017-12-26

---

0열

1답변

py4j.Py4JException : 방법 분할 ([]) 내 스파크 작업을 실행할 때 나는 다음과 같은 오류가

존재하지 않습니다이 points = df.rdd.map(lambda x: ((x['col1'], x['col2'], x['col3']), x[i + '_func'])) points.cache() dim = points.first()[1].size print points._jrdd.splits().size() 마지막 행 예외 : py4j.protoc

python apache-spark pyspark rdd py4j 2017-12-27

---