azure-data-lake

0열

1답변

Azure Data Lake Store의 일관성 보장은 무엇입니까? 누구든지 기술 문서를 찾았습니까? 나는 특히 디렉토리 이동이 원인지 여부, 디렉토리 목록의 일관성 여부 및 파일의 읽기 후 쓰기 일관성 여부에 관심이 있습니다.

4열

1답변

PySpark의 작업자 노드에서 ADLS의 이진 파일에 액세스하는 가장 효율적인 방법은 무엇입니까?

Azure Data Lake Store의 저장소 계정 역할을하는 모든 디렉토리에 대해 rwx 권한을 가진 Azure HDInsight 클러스터를 배포했습니다. 헤드 노드에서 예를 들어로드 할 수 있습니다. 같은 명령으로 ADLS에서 이미지 데이터 : my_rdd = sc.binaryFiles('adl://{}.azuredatalakestore.net/my_

3열

1답변

Azure Data Lakes (Hadoop)에서 우선 순위 및 병렬성 값의 의미는 무엇입니까?

즉, 5의 병렬 처리 값과 1000의 우선 순위 값은 무엇을 의미합니까?

0열

1답변

U-SQL 스크립트에 C# 프로그램의 매개 변수를 전달할 방법이 있습니까?

저는 Azure Data Lake Analytics의 테이블과 함께 U-SQL을 사용하고 있습니다. C# 프로그램에서 생성 된 파티션 키 목록을 U-SQL 스크립트에 전달한 다음 스크립트가 해당 파티션의 모든 요소를 반환하도록 할 방법이 있습니까?

1열

2답변

Azure Data Lake Analytics 데이터베이스는 어디에 저장됩니까?

Visual Studio 용 Azure 데이터 레이크 도구 (아래 스크린 샷 참조)를 통해 실행되는 U-SQL 스크립트를 통해 일부 테이블이있는 데이터베이스를 만들었습니다. 해당 데이터베이스가 Data Lake Store에 저장되어 있습니까? 애저 포털

1열

1답변

U-SQL 준비 시간을 최소화 할 수있는 방법이 있습니까?

U-SQL 작업 준비 시간은 약 30 초입니다. 그것을 낮출 수 있습니까? 다음과 같이 내 코드는 다음과 같습니다 USE DATABASE x; USE SCHEMA y; @results = SELECT RowKey FROM y.tableName WHERE USQLApplication2.queryHelper.func().Contains(Partitio

1열

2답변

사용자 지정 어셈블리가 뷰에서 참조되지 않음

보기에서 사용자 지정 C# 어셈블리가 사용되는 경우 컴파일러는 네임 스페이스에 대한 참조를 찾지 못합니다. 어셈블리가 쿼리에서 참조되고 호출되지만 뷰에서 호출되지 않으면 작동합니다. 예를 들어,보기를 만드는이 U-SQL 스크립트를 고려 : 은이 쿼리를 실행하기 전에 mylocaldb에 등록되어 사용되는 어셈블리, 어떤 스크립트에 액세스 할 수 있습니다. U

1열

1답변

HDInsight 클러스터 프로비저닝에서 ADLS에 대한 액세스 권한을보다 빨리 부여 할 수 있습니까?

분석을 위해 HDInsight 클러스터에서 액세스해야하는 ~ 100,000 개의 파일이 포함 된 Azure Data Lake Store (ADSL)가 있습니다. Azure Portal을 통해 클러스터를 프로비저닝 할 때 클러스터의 스토리지에이 ADLS를 사용하고 서비스 주체 + "데이터 레이크 저장소 액세스"기능을 사용하여 ADLS의 모든 파일에 대해 rw

2열

1답변

SSIS를 사용하여 Azure 데이터 레이크 저장소에 파일을 업로드하는 방법은 무엇입니까?

SSIS를 사용하여 로컬 파일 위치에서 Azure 데이터 레이크 저장소로 파일을 업로드하는 다른 방법은 무엇입니까? 우리는 푸른 blob 저장소에 파일 업로드를 지원하는 푸른 blob 업로드 작업이 있습니까? Azure Data 호수 매장을위한 방법이 있습니까?

2열

1답변

u-SQL 작업이 .NET 호출을 추가 할 때 매우 느립니다.

코드는 2000 개의 작은 파일 (~ 10-50 Kb) ~ 1 분 동안 매우 빠르게 수행됩니다. 나는 다음과 같은 코드를 변경하는 경우 Parallelizm는하지만 ~ 1시간 @arenaData = EXTRACT col1, col2, col3 FROM @in USING Extractors.Tsv(quoting : true, ski