distributed-computing

1열

1답변

hadoop에서 시간 제한 문제가 발생했습니다. 작업이 종료됩니다. close() 메소드에는 무거운 정리 작업이 있으므로 정리 작업을 수행 할 때 close 메소드의 진행 상황을 업데이트해야합니다. 클린업 작업량에 따라 확장 할 수 없으므로 시간 초과를 늘리는 것은 좋은 방법이 아닙니다. 내가보고있는 레거시 작업은 이전 API를 사용하고 있으며, 진행 상황

0열

1답변

Stateless Micro 서비스 및 데이터베이스

우리는 데이터를 유지하기 위해 데이터베이스 클러스터에 의존하는 상태 비 저장 마이크로 서비스를 구축해야합니다. 중복 데이터베이스 클러스터를 사용하는 상태 비 저장 마이크로 소프트 서비스 (고 가용성 및 확장 성)에 권장되는 방법은 무엇입니까? 예 : 버전 1.0의 여러 복사본 실행 지불 서비스. 모든 중복 마이크로 서비스가 공통 공유 DB 스키마를 사용합니

1열

1답변

홀수 번호는 분산 시스템에서 분할 머리를 어떻게 해결합니까?

분산 시스템은 스플릿 뇌 문제를 피하기 위해 3 개의 마스터 노드 또는 5 개의 마스터 노드와 같은 홀수 개의 마스터 노드를 사용할 것을 제안합니다. 그러나 문제가 어떻게 해결됩니까? 2 개의 노드 (A와 B), 1 명의 중재자가 A와 B 중재자에게 "나는 마스터"라고 말하면 뇌 분열이 발생합니다. 중재자는 어느 쪽이 마스터인지 결정할 수 없습니다. 3 개

10열

1답변

Akka 클러스터링 - 노드 당 하나의 관리자 액터

저는 매우 많은 수의 액터를 쿼리하여 매우 많은 수의 메시지를 보내거나받는 애플리케이션에서 작업하고 있습니다. 응용 프로그램이 단일 시스템에서 실행될 때 메시지가 단일 JVM의 경계 내에서 전송되기 때문에 이는 문제가되지 않습니다. 그러나 여러 노드 (akka 클러스터 사용)에서 응용 프로그램을 실행하면 각 노드가 이러한 액터의 일부를 호스팅하고 메시지가

1열

2답변

Spark 작업의 각기 다른 단계에서 CPU/코어/실행 프로그램을 어떻게 최적화 할 수 있습니까? 아래 그림과 같이

보여줍니다 : 0과 1이 꽤 가볍고 0. groupBy 1. repartition 2. collect 단계, 2 꽤 CPU를 많이 사용하지만 단계 : 내 스파크 작업은 세 단계가 있습니다. 하나의 스파크 작업의 다른 단계마다 다른 구성을 가질 수 있습니까? 이 Spark 작업을 두 가지 하위 작업으로 분리하려고 생각했지만 메모리에 저장된 모든 중간

1열

1답변

보낸 사람에게 Patterns.ask()로 외부 액세스

발신자 발신자 액터에 액세스해야합니다. Patterns.ask() 전화가 걸립니다. 예 : getSender().tell(...) : ActorSystem system = ActorSystem.create("MySystem"); ActorRef actor = system.create(..., "MyActor"); Future<Object> futureR

1열

2답변

파이썬 및 스파크 : Dataframe 쓰기는 파일 시스템

내가 로컬 파일 시스템 내 dataframe을 기록 할 에 지속되지 않습니다 path = "/tmp/test" df = spark.sql(select_str) df.write.parquet(path, mode="overwrite", compression="snappy") 코드는 오류없이 실행하지만 tmp로 볼 때이 더 test을 그리고 없습니다 내

1열

1답변

Appium : Ruby : iOS 용 appium을 사용한 분산 테스트

모바일 자동화 용 Appium과 함께 루비를 사용하여 작성된 자동화 된 테스트를위한 완벽한 제품군이 준비되어 있습니다. 하나의 시스템에서 하나의 시뮬레이터로이 제품군을 실행하고 있는데 56 시간의 테스트 케이스를 실행하는 데 1 시간 정도의 시간이 걸립니다 (데이터베이스/API/기능과 같은 여러 검사가 통합 된 시스템 테스트 사례가 있습니다) . 우리는 더

0열

1답변

가변 메시지 여행 시간이 포함 된 Lamport 타임 스탬프

나는 Lamport timestamps으로 뭔가를 오해하고 있다고 생각합니다. 메시지는 분산 된 엔드 포인트간에 이동하는 데 동일한 시간이 걸릴 것으로 예상됩니다. p1 프로세스는 메시지 m1과 m2을 순차적으로 처리하여 p2으로 보냅니다. 기사의 알고리즘 섹션의 의사에 따라, 우리는이 : m1 모든 것이 괜찮 p2m2 전에 도달 # we start at

0열

1답변

특정 노드에 대해 OpenMPI 실행 지정

OpenMPI를 사용하여 병렬 컴퓨팅 작업을 실행하고 싶은 이기종 컴퓨팅 클러스터가 있습니다. 클러스터의 모든 노드가 동일한 실행 파일을 실행할 수있는 것은 아니기 때문에 (일부이기 때문에) 노드 중 일부는 자체 버전의 프로그램을 컴파일하고 Open MPI는 해당 노드에서 실행 파일을 호출해야합니다. 나의 첫 번째 질문은 OpenMPI가 이기종 아키텍처 전