distributed-computing

3열

1답변

스파크 작업으로 제출할 때 Spark RDD 맵에서 NullPointerException이 발생했습니다.

스파크 작업 (2.0, 하프 2.7.2)을 제출하려고하지만 어떤 이유로 인해 EMR에서 약간의 NPE가 발생합니다. 스칼라 프로그램으로 모든 것이 잘 실행되므로 문제의 원인을 정확히 알 수 없습니다. org.apache.spark.sql.catalyst.expressions.GeneratedClass $ GeneratedIterator.agg_doAggre

scala hadoop apache-spark distributed-computing bigdata 2016-08-17

---

-3열

1답변

로컬 파일 시스템에 많은 양의 데이터를 분산 된 저장소에 저장하는 가장 빠른 방법은 무엇입니까?

로컬 디렉토리가 1 테라 바이트 정도입니다. 수백만 개의 매우 작은 텍스트 문서로 구성됩니다. ETL을 위해 각 파일을 순차적으로 반복한다면 며칠이 걸릴 것입니다. 이 데이터에 대해 ETL을 수행하는 가장 빠른 방법은 무엇이며 hdfs 또는 redis 클러스터와 같은 분산 저장소에이를로드하는 방법은 무엇입니까?

apache-spark mapreduce etl distributed-computing bigdata 2016-08-17

---

1열

1답변

동일한 응용 프로그램에서 작업 (지도 기능) 내에서 스파크 작업 만들기

pyspark의 매퍼 기능 (즉, 작업)에서지도를 만들 수 있습니까? 즉, 작업에서 "하위 작업"을 열 수 있습니까? 그렇다면 어떻게 sparkContext를 태스크에 전달할 수 있습니까? 많은 작업으로 구성된 작업을하고 싶습니다. 각 작업은 드라이버로 돌아 가지 않고 많은 작업을 생성해야합니다. 내 사용 사례는 다음과 같습니다. 작업 대기열을 사용하여 작

apache-spark pyspark task distributed-computing bigdata 2016-08-21

---

3열

3답변

python 또는 jupyter notebook으로 spark을 사용하는 방법

필자는 필자가 필사적으로 Spark을 사용해야하는 Python에서 12GB의 데이터로 작업하려고 노력하고있다.하지만 나 자신이나 인터넷을 사용하여 명령 행을 사용하는 것은 너무 어리 석다. 그래서 내가 SO로 돌아 가야만한다고 생각하는 이유입니다. 그래서 스파크를 다운로드하고 타르 파일을 압축 해제했거나 (언어는 유감 스럽지만 바보 같은 느낌이 들었습니다)

python windows apache-spark pyspark distributed-computing 2016-08-22

---

3열

1답변

spark.driver.maxResultSize 란 무엇입니까?

ref 말한다 각 점화 동작에 대한 모든 파티션의 직렬화 결과 총 크기 제한 (예를 들어 수집). 최소 1M 이상이어야합니다 ( 은 무제한). 전체 크기가이 제한을 초과하면 작업이 중단됩니다. 한계가 높으면 드라이버에 메모리 부족 오류가 발생할 수 있습니다 (spark.driver.memory의 및 JVM의 객체에 대한 메모리 오버 헤드에 따라 다름). 에

apache-spark configuration driver communication distributed-computing 2016-08-22

---

0열

1답변

피어로 연결 재설정 [Errno 104]

분산 된 프로그램을 보았습니다. 네트워크의 모든 노드 (가상 시스템)는 모든 다른 노드와 데이터를주고받습니다 (연결을 통해). 데이터를 보내기 전에 모든 노드는 모든 다른 노드 (단일 소스 노드 포함)에 소켓을 가지고 있습니다. 3 초 후에 소스는 네트워크의 다른 노드 각각에 다른 파일 청크를 보내기 시작합니다. 모든 노드는 첫 번째 패킷이 도착한 후 수신

python sockets parallel-processing distributed-computing python-multithreading 2016-08-25

---

3열

1답변

실행중인 단계가 없지만 numRunningTasks! = 0

내 작업이 완료되어 RDD를 계산 한 결과가 예상됩니다. 필자는 대화 형 PySpark 셸을 실행 중입니다. 이 ExecutorAllocationManager을 WARN : :이 경고 평균 무엇을 이해하려고 노력하고 있어요 없음 단계가 실행되지 않습니다,하지만 스파크의 내부 code에서 numRunningTasks = 0 내가이 발견! // If this

apache-spark pyspark yarn distributed-computing bigdata 2016-08-27

---

1열

2답변

스파크가 지정된 것보다 많은 실행자를 시작 함

나는 Pyspark를 사용하여 독립 실행 형 (클라이언트) 모드로 Spark 1.5.1을 실행 중입니다. 나는 기억이 무거워 보이는 일을 시작하려고 노력하고있다. (파이썬에서는 executor-memory 설정의 일부가되어서는 안된다.) 저는 96 코어와 128GB RAM을 가진 머신에서 테스트를하고 있습니다. 마스터 및 작업자가 실행 중이며/sbin의 s

apache-spark memory-management pyspark distributed-computing bigdata 2016-08-28

---

3열

3답변

왜 지역 변수에 불꽃을 일으키는 인수를 추출하는 것이 안전하다고 생각합니까?

나는이 책에서이 예제를 보았다 "학습 스파크 : 번개 - 빠른 빅 데이터 분석" :이 class SearchFunctions(val query: String) { // more methods here def getMatchesNoReference(rdd: RDD[String]): RDD[String] = { // Safe: extract just th

scala function apache-spark distributed-computing bigdata 2016-08-31

---

1열

1답변

배열의 RDD 만들기

나는 Is Spark's KMeans unable to handle bigdata?에 대해 고뇌하고 살고 있으므로 드라마를 보여주기위한 최소한의 예를 만들고 싶습니다. 이를 위해 데이터를 읽는 대신 데이터를 만들고 싶습니다. 배열의 목록 것으로 보인다 In [22]: realData.take(2) Out[22]: [array([ 84.35778894,

python arrays apache-spark distributed-computing bigdata 2016-09-01

---