azure-data-lake

1열

1답변

Append 및 ConcurrentAppend로 만든 ADLS 파일에 연결

.NET API의 Append 메서드를 사용하여 만든 Azure Data Lake Store에 여러 개의 큰 CSV 파일이 있습니다. 최근 성능상의 이유로 ConcurrentAppend으로 전환했습니다. ConcurrentAppend와 Append는 서로 바꿔서 사용할 수 없으므로, 스위치는 ConcurrentAppend가 Append를 사용하여 생성 된

1열

2답변

azure data lake store에있는 xml 파일을 .NET을 사용하여 읽고 파싱하는 방법은 무엇입니까?

푸른 호수 자료실에 xml 파일이 거의 없습니다. 푸른 호수에서 그 파일을 가져와 파싱하고 싶습니다. 어떻게 할 수 있습니까?

0열

1답변

Parquet 파일을 로컬 디스크에 쓰는 중 오류가 발생했습니다.

로컬 디스크에 스파크 데이터 프레임을 쓰고 있습니다. 다시 읽을 수 없습니다. val path = "file:///mnt/resources/....." df.write.parquet(path) val d = spark.read.parquet(path) 나는 다음과 같은 오류가 발생합니다 : org.apache.spark.sql.AnalysisExce

0열

1답변

샘플 <p>어떻게 CLI를 통해 푸른 데이터 호수에에 .gz 파일을 미리 볼 수 있습니까? 포털을 통해 gzipped 파일을 미리 볼 수 없습니다. CLI에만 액세스 할 수 있습니다.</p>

에 gzip으로 압축 된 파일의

0열

2답변

Azure/U-SQL - Regex 대체

공백 ()과 밑줄 문자 (_)로 변환하려는 하이픈 (-)을 포함하는 데이터가 있습니다. 다른 언어 (예 : R)에서는 다음과 같이 쓸 수 있습니다. var1 <- gsub(var1, "s+|\\-", "_") 여러 문자를 찾아서 다른 문자로 변환합니다. U-SQL에서이 작업을 수행 할 수있는 방법이 있습니까? 편집 : 나는이 시도하고 오류없이 실행되지만

3열

1답변

Azure Data Lake를 (를) 쿼리하는 방법?

데이터베이스 세계에서 왔을 때, 우리는 데이터와 관련이있을 때 ui 도구를 사용하여 데이터를 쿼리합니다. 크거나 작게하십시오. Azure, Azure 데이터 호수를위한 SQL WorkBench (Big Data Redshift 용), Athena (Query Big Data S3)와 같은 것이 있습니까? 데이터 레이크 애널리틱스는 데이터를 쿼리하고 파일에

0열

1답변

.ADL 저장소의 폴더 및 파일을 쿼리하는 .NET API

구성된 간격에 따라 EDS에서 피드를 가져오고 있습니다. 예 : 푸시가 매 8 시간마다 구성된 경우. Employee 테이블의 경우 ADL의 폴더 구조는 다음과 같습니다. Employee 20171116 Employee_20171116_00:00 Employee_20171116_08:00 Employee_201711

2열

1답변

SSIS 여러 테이블 복사

나는 200 개 이상의 MSSQL 테이블을 가지고 있으며 데이터를 Azure Data Lake Storage로 전송하려고합니다. 내가 고려하는 한 가지 접근 방식은 SSIS를 동적 데이터 흐름과 함께 사용하는 것입니다. 즉, 테이블 이름 변수를 만들고 테이블 이름과 각 테이블 실행 데이터 흐름에 대해 foreach 루프를 수행하는 것입니다. 그러나 잘못된

0열

1답변

Azure Stream Analytics가 데이터를 개별 파일로 출력하는 이유는 무엇입니까?

Azure Data Lake 또는 Azure Blob 저장소를 사용하는 경우 스트림 분석에서 개별 파일을 만드는 이유는 무엇입니까? 때로는 스트림이 한 파일에서 며칠 동안 실행되는 반면 다른 시간에는 매일 두 개의 새로운 파일이 만들어집니다. 그것은 무작위로 보인다? 데이터를 CSV로 출력하고 쿼리가 동일하게 유지되며 매번 새 파일이 생성됩니다. 데이터에서

0열

1답변

Vnet의 HDInsight를 다른 지역의 Data Lake Store에 연결할 수 있습니까?

Azure의 North Central US에서 Data Lake 스토어 서비스를 사용할 수 없습니다. 중앙 미국에서 제작할 계획입니다. 우리의 HDInsight 클러스터는 미국 북부 중부의 VNet 인프라 스트럭처 팀에 의해 프로비저닝 될 것이므로 미국 중부 지역의 Data Lake 매장에 연결할 수 있는지 궁금합니다.