Hadoop은 일반적으로 반 구조적 데이터 처리를위한 대안 일뿐만 아니라 탭으로 구분 된 일반 데이터와 유닉스 도구 (cut, grep, sed, ...)와 수작업으로 작성된 파이썬으로 많은 것을 할 수 있습니다 스크립트. 그러나 때로는 엄청난 양의 데이터가 발생하고 처리 시간이 20-30 분에 달합니다. 일부 데이터 세트를 동적으로 실험하고 세미 애드 혹
우리가 작업하고있는 데스크톱 응용 프로그램의 청크에 대한 분석을하고 있습니다. 하나의 요구 사항은 실제적으로 각각 800Mb 크기로 실행되는 일부 레거시 파일 형식의 입출력을 수행 할 수 있어야한다는 것입니다. 수입은 합리적으로 5Gb 크기가 될 것으로 예상됩니다. 이상적으로는 원하는 파일을 jar 파일에 붙이고 서명 한 다음 나중에 다시 가져 오기 위해
마지막 x 줄을 읽으려면 네트워크 드라이브에서 5G 로그 파일을 읽는 스칼라 스크립트를 수정해야합니다 (예 : Unix의 'tail')? ::#!
@echo off
call scala %0 %*
goto :eof
::!#
import scala.io.Source
if (args.length > 0) {
for (line <-Source.fro
MySQL Cluster 6 용 NDB Cluster를 구현하고 싶습니다. 최소 2 백만 건의 레코드로 매우 큰 데이터 구조를 만들고 싶습니다. NDB 클러스터를 구현하는 데 제한이 있는지 알고 싶습니다. 예를 들어, NDB 클러스터의 RAM 크기, 데이터베이스 수 또는 데이터베이스 크기.
임의로 중첩 된 해시 구조 (일반적으로 4-6 수준)를 수십억 개에서 수백억 개까지 저장하고 최상위 수준에 일부 특성을 저장하려고합니다. 중첩 된 해시 내부를 쿼리 할 필요가 없으며 최상위 수준 특성 만 쿼리 할 수 있습니다. 일반적으로 최상위 속성에서 정확히 일치하는 코드를 작성하지 않고도 쿼리가 가능해야합니다. 레코드를 업데이트 할 때 전체 레코드를
다음과 같은 문제가 있습니다. 데이터베이스에 바이너리를 저장하는 데이터베이스가 있습니다. 데이터베이스의 크기가 클 수 있으므로 데이터베이스의 모든 바이너리를 제거하고 "축소"작업을 사용했습니다. 이렇게하면 데이터베이스가 훨씬 작아지기를 바랍니다. 다음은 결과입니다 : 전에 제거 크기였다 20기가바이트 제거 크기가 된 후 25 기가 바이트 (포함 로그 파일)