작은 파일에 활발하다.

Question

나는 Cassandra와 Hadoop의 초보자이다. 두 제품의 통합을 찾고있는 중에 Brisk을 발견했습니다. 설명에서 나는 Brisk가 CassandraFS의 HDFS를 대신한다는 것을 이해합니다. 따라서이 대체 방법은 Hadoop의 small file problem에 대한 해결책입니까? 그렇다면 대용량 파일은 어떻습니까? 현재는 메타 데이터가있는 큰 바이너리 데이터 파일과 이미지 같은 작은 파일을 모두 포함하는 리소스 저장소를 구현해야합니다.

Answer 1

두 가지 모두입니다. Brisk은 현재 상업용 제품인 DataStax Enterprise에 포함되어 있으며 적극적으로 개발되지는 않았습니다.

Brisk에는 HDFS의 드롭 인 대체품 인 CassandraFS (cfs)가 포함되어 있으므로 대용량 파일을 지원합니다. 내부적으로 이들은 덩어리로 분해되어 카산드라 행/열에 저장됩니다.

작은 파일의 경우 CassandraFS 대신 원시 Cassandra 행에 데이터를 저장하고 대신 행을 통해 Hadoop 작업을 실행할 수 있습니다.