hdinsight

0열

2답변

Azure HDInsight Spark 클러스터를 설치했습니다. 내 클러스터에 원격으로 작업을 보내고 싶습니다. import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.SparkConf; publi

0열

1답변

.NET Azure HDInsight API를 통해 Spark Scala (.jar) 작업 제출

.NET의 azure hdinsight API를 통해 spark 클러스터에 작업을 제출하려고했습니다. Intellij Azure Plugin을 통해 제출 한 스칼라 코드가 HDInsight에 제출하십시오.하지만 .net API를 통해 작업을 제출할 때 작동하지 않습니다. (아마도 작업 제출 유형이 올바르지 않습니까?) jobId 및 jobComplete 상

0열

1답변

SAP HANA에서 ADLS로 데이터 복사

SAP HANA (Azure VM의 IaaS)에서 Azure Data Lake Store (ADLS)로 데이터를 복사하는 가장 좋은 방법은 무엇입니까? SAP HANA에서 webHDFS로 데이터를 수집하려면 HDI - Sqoop을 사용해야합니까? 또는 다른 최선의 방법을 사용할 수 있습니다. 내 머리 위에는 발표 될 때까지 ADF가 SAP HANA에서 지원

0열

1답변

스칼라 응용 프로그램을 통해 푸른 하늘에있는 파일 읽기

내 클러스터는 푸른 색 저장소에있는 일부 입력 파일을 읽어야합니다. 내 .jar를 livy를 통해 클러스터에 제출하지만 내 파일을 찾을 수 없어서 항상 죽습니다. -> 사용자 클래스에서 예외가 발생했습니다 : java.io.FileNotFoundException. 내가 뭘 놓치고 있니? 파일을 열려면 sc.textFile을 사용하고 싶지 않습니다. RDD

-1열

2답변

Azure HDInsight 사용 방법 비용 부담 감소

Azure와 Pay-as-you-go 가입을 사용하고 있습니다. 나는 HDInsight를 통해 Spark 클러스터를 제작 한 경험이 있으며 예상보다 많은 비용이 청구되었습니다. 그 후, 나는 그것을 경제적 인 방법으로 사용하는 방법을 모색하고 사람들이 비용을 절감하기 위해 클러스터를 정상적으로 지우는 것을 발견했다. 개별 사용자가 작은 비용으로 Spark

0열

1답변

BYOC HDInsight 클러스터 (Linux)를 사용하여 ADF로 하이브 활동에 실패했습니다. (Linux)

ADF 하이브 활동을 실행하는 동안 오류가 발생합니다. HDInsight 클러스터에서 Hive 쿼리를 직접 실행하면 정상적으로 작동합니다. ADF 하이브 활동에서 실행되는 동안 실패합니다. 많은 시행 착오를 거쳤지만 문제는 여전히 지속됩니다. 누구든지 문제가 될 수있는 아이디어가 있습니까? WARNING: Use "yarn jar" to launch YAR

1열

1답변

HDInsight 클러스터 프로비저닝에서 ADLS에 대한 액세스 권한을보다 빨리 부여 할 수 있습니까?

분석을 위해 HDInsight 클러스터에서 액세스해야하는 ~ 100,000 개의 파일이 포함 된 Azure Data Lake Store (ADSL)가 있습니다. Azure Portal을 통해 클러스터를 프로비저닝 할 때 클러스터의 스토리지에이 ADLS를 사용하고 서비스 주체 + "데이터 레이크 저장소 액세스"기능을 사용하여 ADLS의 모든 파일에 대해 rw

0열

1답변

HDInsight 클러스터의 Linux 배포 정보

Linux HDInsight Hadoop 클러스터에서 제품 인증을 수행 할 예정입니다. 이 제품은 RHEL 및 SUSE에서만 인증됩니다. 내 계정은 현재 사용할 수 없으므로 어떤 사람이 Linux HDInsight Hadoop 클러스터의 특정 배포 정보를 말해 줄 수 있습니까? 예를 들어 RHEL x.x 또는 다른 것. 클러스터를 만들면 Linux 배포 유

0열

1답변

HDInsight 에뮬레이터 - C# 실행 파일을 기반으로 MapReduce 작업을 로컬에서 실행하는 방법

HDInsight 에뮬레이터를 설치했으며 Azure 저장소 에뮬레이터 (blob)를 기본 hdfs로 정의했습니다. C#에서 구현 된 mapreduce 작업을 로컬에서 실행하는 방법을 알려주십시오. 블롭에 실행 파일을 업로드했습니다. 예를 들어 주시겠습니까?

1열

1답변

Microsoft Azure HDInsight의 R 서버 - 매우 광범위한 데이터를 처리합니다. - rxExec?

아래 코드는 내가하고 싶은 것에 대한 아이디어를 줄 것입니다. 실제로 : 나는 귀속 된 유전학 파일을 가지고 일하고 있습니다. 전체적으로 약 1 천만 SNP (변수)는 수천 명의 사람들에게 귀속됩니다. 개별 변수마다 회귀 분석을 실행하고 싶습니다. 모든 개별 모델은 계산 상 사소한 작업이지만 문제는 거대한 파일로 작업하고이 모델을 1 억 번 실행하는 것입니