apache-spark

1열

1답변

소셜 그래프에서 커뮤니티를 찾는 루뱅 (louvain) 방법입니다. https://sites.google.com/site/findcommunities/ 나는 스파크 또는 Giraph 등 BSP 방법을 사용하여 큰 그래프에서 실행하고자합니다.

1열

1답변

sbt에서 ec2에 spark cluster를 실행하는 방법은 무엇입니까?

나는 내가 SBT를 사용하여 아마존의 EC2 클러스터에서 실행할 수 있도록하고 싶습니다 sbt run 로 시작 로컬 때 잘 실행 스파크를 사용하여, 스칼라로 작성된 프로그램을 가지고있다. 그게 가능합니까? 나는 http://spark.incubator.apache.org/docs/latest/ec2-scripts.html을 보았다. 그러나 그것은 sbt없이

6열

1답변

복잡한 이벤트 처리

시스템으로 들어오는 개별 이벤트 스트림이 있고 각 이벤트의 내용을 기반으로 규칙을 적용해야합니다. 또한 이러한 스트림 이벤트에 복잡한 이벤트 처리를 적용하려고합니다. 제약 조건 1.이 규칙은 사용자가 입력하며 동적으로 변경됩니다. 2. 규칙이 적용될 때마다 시스템을 다시 시작하고 싶지 않습니다. 3. HA 4 만 성숙 오픈 소스 솔루션 이 단일 할 것 2.

2열

2답변

스파크/상어를 연결하는 파이썬 또는 스칼라 도구가 있습니까

상어 서버 연결에 파이썬 또는 스칼라를 사용하고 싶습니다. 그러나 나는 이것을 할 도구를 찾지 못했습니다. lib (파이썬 또는 스칼라/자바)가 있습니까? 고맙습니다.

5열

1답변

Spark에서 정렬 할 때 NotSerializableException

사용자가 속한 메시지 목록 (JSON 형식)을 취하는 간단한 스트림 처리 Spark 작업을 작성하려고합니다. 각 사용자의 메시지를 계산하고 상위 10 개를 인쇄합니다. 사용자. 그러나 Comparator>를 정의하여 감소 된 개수를 정렬하면 java.io.NotSerializableException이 발생하여 실패합니다. 스파크 내 받는다는 의존성 : <g

6열

1답변

일부 종속성을 추가 한 후 sbt 어셈블리 작업이 느리게 실행됩니다.

저는 스칼라에서 배포하기에는 새롭고 sbt-assembly 플러그인을 구성했습니다. 모두 잘 작동했습니다. 얼마전에 hadoop, spark 및 기타 종속성을 추가했는데 assembly 작업이 매우 느리고 (8-10 분) 작업 전에는 < 30 초가되었습니다. 대부분은 어셈블리 - jar 생성에 사용됩니다 (jar 파일이 1MB 크기로 커지려면 몇 초가 걸립

0열

1답변

CentOS에서 Spark를 설치할 때 Java compliation 오류가 발생합니다.

CentOS에 Spark를 설치하려고합니다. sbt/sbt assembly 명령을 사용하여 스파크를 작성하는 동안 다음과 같은 오류가 발생합니다. [warn] /root/spark-0.8.0-incubating/core/src/main/scala/org/apache/spark/SparkHadoopWriter.scala:129: method cleanupJo

2열

1답변

Cassandra의 스파크 : spark.kryo.registrator를 등록하지 못했습니다.

현재 독립형 모드에서 Cassandra를 사용하여 Spark를 실행하려고하면 몇 가지 문제가 발생합니다. 처음에는 SparkContext에서 mater = "local [4]"매개 변수를 사용하여 성공적으로 실행합니다. 그런 다음 독립 실행 형 모드로 이동하려고합니다. 내가 사용하는 것은 다음과 같습니다 우분투 : 12.04 카산드라 : 1.2.11 스파크

2열

2답변

트위터를 실행하는 방법 스칼라 스트리밍의 인기 태그를 스칼라로 사용 하시겠습니까?

나는 Spark에 처음 왔으니 참고하시기 바랍니다. 스칼라를 사용하여 스파크 스트리밍과 관련된 많은 예제가 있습니다. https://github.com/apache/incubator-spark/tree/master/examples/src/main/scala/org/apache/spark/streaming/examples에서 확인할 수 있습니다. Twitte

2열

1답변

Cassandra에서 Apache Spark & Shark를 성공적으로 실행 한 사람이 있습니까

일부 Hive 쿼리를 테스트하기 위해 Spark/Shark를 실행하기 위해 5 노드 카산드라 클러스터를 구성하려고합니다. 스파크, 스칼라, 상어를 설치하고 Amplab [클러스터에서 상어를 달리는 행위] https://github.com/amplab/shark/wiki/Running-Shark-on-a-Cluster에 따라 구성했습니다. 나는 상어의 CLI