여기 내 문제가 있습니다. 이제는 spark 셸을 사용하기 시작할 때 리소스가 많이 소모되고 제한되거나 유지 될 수 있습니다. 다른 병렬 실행 응용 프로그램에 영향을줍니다. 예를 들어, 일부 spark-shell 명령을 실행하고 실수로 셸을 열어두고 세션을 닫지 않고 모든 리소스를 유지하고 다른 모든 사용자는 내가 닫지 않으면 내 세션 원사 관점에서이 문제
flume의 데이터를 HBase에 삽입했습니다. 데이터 일관성을 확인하고 싶습니다. 나는 테이블의 전체 행을 제공하는 "count"명령을 제공하는 HBase를 의미합니다. 문제는 사용할 수 없습니다 "카운트"입니다 "필터" 은 필터와 같은 일부 특정 조건과 행 계산을 할 수있는 몇 가지 방법이 있나요? 미리 도움을 주셔서 감사합니다. 필터링하고자하는 열이
KNIME 분석 플랫폼에서 spark를 실행할 계획입니다. 이를 위해 KNIME 분석 플랫폼에 KNIME 스파크 집행자를 설치해야합니다. 아무도 KNIME 스파크 집행자를 hadoop 배포 CDH 5.10.X 용 KNIME 분석 플랫폼에 설치하는 방법을 알려주십시오. https://www.knime.org/knime-spark-executor
임팔라 - 쉘을 사용하여 여러 개의 대형 쿼리를 실행했으며 성능이 만족 스럽다는 것을 알았습니다. 이러한 쿼리는 일반적으로 100k-1m 행을 디스크에 기록합니다. 그러나 JDBC를 사용하여 프로그램 적으로 동일한 쿼리를 실행할 때 결과는 디스크에 쓸 시간이 오래 걸립니다. 예를 들어 임팔라 - 쉘에서 5 분이 소요되는 쿼리는 JDBC보다 최대 30 분이
개발자 클러스터에서 kafka 브로커가 다운되었습니다. 나는 다운 노드의 kafka 데이터 디렉토리가 다른 노드보다 매우 크고 크다는 것을 발견했다. 다운 노드 : 여기 [[email protected] ~]# cd /var/local/kafka/ [[email protected] kafka]# du --max-depth=1 -ch|sort -hr 100G