executor

0열

1답변

많은 예약 된 작업을 스케줄러와 병렬로 실행하려고 시도하지만 하나만 시작됩니다. 스프링 scheduler.xml 내 콩 구성 <?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.o

0열

2답변

살아있는 동안 spark.executor.cores를 적용 할 수 없습니다.

spark job을 실행하기 위해 livy-server-0.2를 사용하고 있지만, spark.executor.cores의 기본 설정을 변경할 수 없습니다. 다른 설정을 적용하는 동안 효과가 나타나지 않습니다. 항상 실행 프로그램을 시작하기 위해 1 코어를 사용합니다. 여기 yarn 11893 11889 6 21:08 ? 00:00:01 /opt/jdk

0열

2답변

Spark에서 Executor Startup을위한 후크가 있습니까?

기본적으로 공유 메모리에서 데이터를 읽으려면 동일한 노드/executor에서 실행되는 여러 태스크가 필요합니다. 이를 위해 작업을 시작하기 전에 데이터를 메모리에로드하는 초기화 함수가 필요합니다. Spark이 Executor 시작을위한 후크를 제공한다면이 초기화 코드를이 콜백 함수에 넣을 수 있습니다.이 초기화 코드는이 시작이 완료된 후에 만 실행됩니다

3열

1답변

"Runnable :: run"- Executor 인스턴스를 만드는 방법은 무엇입니까?

내가 다음 줄 테스트 실행 프로그램의 멤버 변수 인스턴스를 만드는 데 사용되는 프로젝트에서 일하고 있어요 : private Executor executor = Runnable::run; 코드 실행 및 컴파일을하지만 난 Runnable::run가의 인스턴스를 생성하는 방법을 이해하지 않습니다 Executor 모두가 서로 다른 인터페이스이기 때문입니다. 누구든

0열

1답변

Gitlab의 Kubernetes Executor 용 kubernetes API에 연결

https://docs.gitlab.com/runner/executors/kubernetes.html#connecting-to-the-kubernetes-api에 따르면 현재 Gitlab 러너의 다른 K8s 클러스터에 연결할 수 있지만 그 일은 사용자가 수행하는 작업에 대한 정보를 제공하지 않으며, 이러한 옵션을 지정해야합니다. 편집 : 마지막으로 conf

1열

1답변

TailerListener 실행 프로그램이 파일의 행을 두 번 인쇄하는 이유는 무엇입니까?

나는이 목적을 위해 Executor를 사용하고자하는 텍스트 파일을 꼬리 꼬박 꼬박 꼬박 꼬박 말하면 다음 코드를 실행할 때마다 두 줄씩 출력한다. 즉, 한 줄씩 전체 파일을 인쇄하고 같은 줄을 인쇄하지 않고 마지막 줄을 건너 뛴다. 줄을 다시, 나는 거기에 잘 작동하는 Executor 대신 스레드를 사용하려고했습니다. 더하기 텍스트 파일의 마지막 줄을 인쇄

0열

1답변

spark에서 단일 실행 프로그램에서 여러 파티션으로 작업 실행 중

Mesos 클러스터에서 실행중인 Spark 2.1.1 작업이 있습니다. Spark UI는 32 명의 액티브 실행 프로그램을 보여 주며, RDD.getNumPartitions는 28 개의 파티션을 보여줍니다. 그러나 한 (임의의) 집행자 만 작업을하고 있으며 다른 모든 집주인은 완료로 표시되어 있습니다. executor 코드 (stdout)에 디버그 명령문을

0열

1답변

스프링 배치 및 실행자 프레임 워크

이 두 프레임 워크는 동일한 목적으로 사용됩니까? 왜 실시간 애플리케이션에서 이것이 사용 되는가? 이들을 배우기위한 자습서가 있습니까?

0열

1답변

Executors가 모든 작업을 완료하지 못했습니다.

안녕하세요, 아래 코드를 실행하려고하고 있는데, Executor가 종료 된 후에 남아있는 작업의 수가 0이 될 것으로 기대하고 있습니다. 그러나 어떤 이유로 인해 아래 조건을 만족하면 100이됩니다. while(executor.isTerminated()) { System.out.println("Total Task Remaining : " +

0열

1답변

Spark executor 로그인 IntelliJ IDEA

나는 spom에 의존성이있는 spark 응용 프로그램을 실행 중입니다. IntelliJ IDEA에서는 드라이버 측 로그 만 볼 수 있지만 실행 로그는 볼 수 없습니다. 구성에서 콘솔에 표시 할 로그 파일을 추가 할 수 있지만 로그 파일의 위치를 알아야합니다 ... 종속성 라이브러리에서 스파크를 사용하지만 내 로컬 스파크 환경에서는 사용하지 않음을 유의하