graphframes

0열

1답변

pyspark에서 연결된 구성 요소를 효율적으로 계산합니다.

도시의 친구들을 위해 연결된 구성 요소를 찾으려고합니다. 내 데이터는 도시 속성으로 가장자리 목록입니다. 시 | SRC | DEST 휴스턴 카일 -> 베니 휴스턴 베니 -> 찰스 휴스턴 찰스 -> 데니 오마하 캐롤 -> 브라이언 등 내가 아는 pyspark의 GraphX ​​라이브러리의 connectedComponents 함수는 연결된 모든 구성 요소를 찾

graph spark-dataframe spark-graphx connected-components graphframes 2017-09-25

---

0열

2답변

GraphFrames jar가있는 "spark-shell --jars"에서 "error : 클래스 파일 'Logging.class'를로드하는 동안 종속성이 없거나 유효하지 않습니다."를 표시하는 이유는 무엇입니까?

내가 명령 spark-shell --jars /home/krishnamahi/graphframes-0.4.0-spark2.1-s_2.11.jar을 실행하고 그것이 내가 스파크 버전 2.1.1을 사용하고 나에게 오류 error: missing or invalid dependency detected while loading class file 'Logging.

apache-spark apache-spark-sql spark-graphx graphframes 2017-05-08

---

1열

2답변

Apache-Spark 그래프 프레임의 SBT

다음 SBT 파일이 있습니다. Apache GraphFrame을 사용하여 스칼라 코드를 컴파일하고 CSV 파일을 읽습니다. 내가 SBT를 사용하여 JAR 파일을 만들려고하면 다음 name := "Simple" version := "1.0" scalaVersion := "2.10.5" libraryDependencies ++= Seq( "org.

scala apache-spark sbt graphframes 2016-12-12

---

-1열

1답변

GraphFrames의 aggregateMessages에서 출력이 없습니다.

방금 ​​GraphFrames로 시작했지만 설명서를 따르고 있지만 aggregateMessages 함수에서 결과를 가져올 수 없습니다 (빈 데이터 프레임을 반환 함). 내 vertexRDD 더 정점 속성 없습니다 만 하나의 정점 Y 구성하도록 testGraph라는 객체 GraphFrames, 내 edgeRDD이 같은 두 개의 레코드 구성 : 여기 내 문제의

scala graphframes 2017-11-28

---

0열

1답변

Graphframe 오류가/

내가 Databricks에 스칼라 2.11이 코드 라인을 작성 스파크 : import org.graphframes._ val user_ridotto = sqlContext.sql("SELECT * FROM userRidotto") var users_1 = user_ridotto.select("user_id", "name", "city", "num_f

bigdata databricks graphframes scala-spark 2017-10-16

---

6열

1답변

Spark Graphframes로 파티셔닝

Spark Graphframes를 사용하여 largish (?) 그래프 (6 천만 개의 정점과 95 억 개의 에지)로 작업하고 있습니다. 기본 데이터는 크지 않습니다. 정점은 디스크에서 약 500MB를 취하고 가장자리는 약 40GB입니다. 내 컨테이너가 자주 메모리 문제로 인해 자바 힙 때문에 종료되지만 근본적인 문제는 그래프 프레임이 계속 데이터를 뒤섞어

apache-spark graphframes 2016-12-27

---

0열

1답변

GraphFrames를 스칼라로 추가 할 때 Build.sbt가 깨집니다. 2.11

스칼라 스파크 애플리케이션에 GraphFrame을 추가하려고하는데, 2.10을 기반으로 GraphFrames를 추가 할 때 좋았습니다. 그러나 GraphFrames를 scala 2.11로 빌드하자마자 파손됩니다. 문제는 사용 된 스칼라 버전이 충돌 (2.10 및 2.11) 한 것입니다. 이것은 내 전체 build.sbt입니다 .. 나는이 원인이 어떤 문제를

scala sbt graphframes 2017-10-22

---

0열

1답변

찾을 수없는 모듈 'graphframes'

때 나는 명령 줄에서 입력 : graphframes : 0.2.0-spark2.0-s_2.11 을 pyspark이 graphframes을 --packages 잘 작동 할거야. 그러나 ipython을 사용하여 내 pyspark를 시작하고 그래프 프레임 패키지를 사용하려면 작동하지 않습니다. 때 I 명령 라인 입력 : PYSPARK_DRIVER_PYTHON =

python-3.x pyspark graphframes 2016-12-29

---

1열

1답변

PySpark에서 PageRank 및 BFS 함수를 실행하는 동안 오류가 발생했습니다.

Spark를 처음 접했고 Cloudera Distr for Hadoop (CDH)에서 학습 중입니다. 오류 메시지와 함께 아래 pyspark --packages graphframes:graphframes:0.1.0-spark1.6,com.databricks:spark-csv_2.11:1.2.0 내가 실행하려고 랭크 기능 명령을한다 : 나는 다음과 같은

apache-spark pyspark cloudera-cdh apache-spark-1.6 graphframes 2017-12-17

---

1열

1답변

Spark Graphx 또는 Graphframe을 사용하여 방향성 그래프를 만드는 방법

연결된 그래프를 내 데이터 집합에서 실행하려고합니다. 방향 그래프를 사용하고 있습니다. 연결된 구성 요소가 가장자리의 양쪽 방향으로 횡 방향 이동하는 것을 원하지 않습니다. 이 내 샘플 코드 import org.apache.log4j.{Level, LogManager} import org.apache.spark.SparkConf import org.ap

scala apache-spark spark-graphx graphframes 2017-02-27

---