azure-data-lake

0열

1답변

Azure Datalake Analytic 작업이 잠시 후 자동으로 삭제된다는 사실을 발견했습니다. 작업 삭제를 비활성화 할 수 있습니까? 작업의 기본 수명은 얼마입니까? Microsoft의 문서에서 그 내용을 찾지 못했습니다. 도움 주셔서 감사합니다.

2열

1답변

사용자 정의 추출기에서 스트림 대신 파일 이름

grive 파일을 읽으려면 사용자 정의 추출기를 구현하고 이진 형식 인 grib.Api라는 NuGet 패키지를 사용합니다. 이 API는 파일을 열 때 파일 이름을 필요로하며 USQL 사용자 정의 추출기에서 스트림 만 가져 오므로이 패키지를 USQL에서 사용하는 방법을 알지 못합니다. 이 문제를 해결할 방법이 있습니까?

0열

1답변

Azure Data Lake Analytics의 스로틀 시간 문제를 조사하고 해결하는 방법은 무엇입니까?

내 성공적인 ADLA 작업 중 하나에 경고 다음있어 : 작업에 Throttling Time: The job exhibited throttling which may have impacted performance. 를, I는 입력 테이블을 업데이트와 함께 두 개의 서로 다른 테이블에서 일부 처리와 쓰기 결과를하고, 테이블에서 데이터를 읽고 있습니다. 입력/

1열

2답변

Azure 데이터의 시간차 계산 Lake Analytics U-SQL 작업

프로젝트에서 우리는받은 데이터를 기반으로 집계 및 추가 계산을 주기적으로 계산해야합니다. 빈번한 요구 사항은 입력 데이터 스트림의 특정 행 사이의 시간차를 계산하는 것입니다. 이벤트 타임 스탬프 값 2017년 5월 21일 11시 33분 E1 17 2017년 5월 21일 11시 37분 E2 18 2017-05- 예 : 이 내 입력 데이터 스트림이고 21 11

0열

1답변

USQL의 JSON 비 직렬화로 인해 문자열 제한이 발생합니다.

USQL을 사용하여 ADLA에서 처리하는 JSON 파일이 여러 개 있습니다. 첫 번째 작업은 Microsoft.Analytics.Samples.Formats.Json JsonExtractor를 사용하여 각각에서 데이터를 추출하는 것입니다. 대부분의 파일 (80 %?)은 가장 큰 파일을 포함하여 정상적으로 처리되지만 일부 파일은 실패하고 이유는 알지 못합니다

1열

1답변

Azure 데이터 레이크 저장소 대역폭 제한 제한

ADLS는 일부 대역폭 제한을 구현하는 것으로 보입니다. 데이터에 액세스하는 모든 사람에게 똑같이 적용됩니까? (HDInsight 클러스터와 ADL 분석의 차이점은 무엇입니까?) 이 대역폭은 어떤 범위에서 어떻게 결정됩니까? Here 일부 HDInsight 제한이 언급됩니다. Here 몇 가지 U-SQL 제한이 언급되어 있습니다.

0열

1답변

u-sql 스크립트에서 수행 된 일부 작업 후에 파일을 삭제하는 방법이 있습니까?

U-SQL 스크립트를 사용하여 수행 한 일부 작업 (추출 방법) 후에 Azure Data Lake 저장소에서 일부 파일을 삭제하려고합니다. 함수 나 다른 방법으로 U-SQL을 사용하여 파일을 삭제하는 방법이 있습니까? U-SQL은 파일을 읽는 데에만 사용할 수 있지만 일부 파일은 삭제하려고합니다. .NET SDK를 사용하여 동일한 작업을 수행 할 수 있지만

1열

1답변

USQL 사용자 지정 출력 장치를 사용하여 데이터 호수 파일을 GZ로 압축

데이터 호수 파일을 GZ 압축으로 압축해야한다는 요구 사항이 있습니다. USQL의 출력자가이 기능을 직접적으로 지원하지 않는다는 사실을 알았습니다. 내 이전 게시물 How to preprocess and decompress .gz file on Azure Data Lake store?에서 @Michael Rys는 자동 압축 기능이 현재 로드맵에 있음을 언급

1열

1답변

BLOB 저장소에있는 65000 개의 작은 xml 파일을 결합하여 큰 CSV 파일로 데이터 호수에 복사하십시오.

Azure blob 저장소에서 시간당 약 65000 개의 작은 xml 파일 (파일 당 약 1-3kb)이 있습니다. 그것의 원격 측정 데이터는 매 시간마다 얼룩이있을 것입니다. 나는 그들 모두를 결합하고 커다란 XML 파일 (시간당 하나의 파일 정도)을 만들고 그것을 커다란 csv 파일로 변환하고 싶다. 하늘색 데이터 호수 저장소에 그것을 복사하고 싶다. 그

2열

2답변

Azure 데이터 팩토리 Azure 데이터 레이크에 복사 할 테이블 복사 표

Azure Data Lake Store의 On-Prem SQL 서버에서 점진적으로 데이터를 테이블로 복사해야합니다. Azure 포털을 사용하여 복사 작업을 만들 때 대상에서 나는 폴더 만 볼 수 있습니다 (테이블에는 옵션 없음). 데이터 호수 테이블 싱크에 예약 된 온 - 테이블을 어떻게 할 수 있습니까?