deffilterop을 사용하고 지갑 세공 기능을 사용하는 것과 차이점, 성능 또는 다른 점이 있습니까? http://nathanmarz.com/blog/introducing-cascalog-a-clojure-based-query-language-for-hado.html 필터링 같은 Clojure의 기능 (<? age2? age1) 그러나이 같은 함수를 정
나는 각 디렉토리에 대해 500 개의 디렉토리와 1000 개의 파일 (각각 약 3-4k 라인)을 가지고있다. 이 파일들 각각에 clojure 프로그램 (이미 쓰여 있음)을 실행하고 싶습니다. 4 옥타 코어 서버가 있습니다. 이 코어를 통해 프로세스를 배포하는 좋은 방법은 무엇입니까? cascalog (hadoop + clojure)? 기본적으로 프로그램은
s3 (각 행은 [key-a, key-b, count] 임)에 저장된 공동 발생 횟수 테이블을 가지고 있습니다. 그것으로부터의 동시 출현 확률 행렬이다. 각 키의 수의 합계를 계산하려면 각 행을 해당 키의 합계로 나누어야합니다. "손으로"이 작업을 수행했다면 데이터에서 합계 (leveldb 또는 이와 유사한 항목)의 해시 테이블을 생성 한 다음 데이터를 두
내 카스 로그 EMR 작업으로 S3 버킷에 수천 개의 작은 파일이 생성되었습니다. 그것은 내가 사용한 감속기의 수와 같은 수의 파일을 생성합니다. 이 모든 작은 파일을 덤핑하는 데 몇 분이 걸립니다. S3에서 그들을 연결하는 방법이 있다면 나는 그들을 빨리 버릴 수 있을까? 감사 강
나는 Cascalog 시작 안내서를 알 수는 :profiles { :dev {:dependencies [[org.apache.hadoop/hadoop-core "1.0.3"]]}}
하둡의 버전을 지정? 더 광범위하게 Cascalog가 어떤 Hadoop 버전 집합과 상호 운용합니까?
에 주요 내가 같은 파일에서 uberjar을 컴파일 : 내가 좋아하는 하둡에 그 uberjar을 실행 (defmain HadoopTest (:use 'cascalog.api) (defn bla ("alot of code"))
: $ hadoop jar myStandalone.jar clojure.main 와 나는 REPL을 얻을 , 그 파일에서 아무것도
Eclipse에서 Cascalog를 사용하고 있습니다. 내가 로컬에 설치된 하둡 단일 노드 클러스터 또는 일부 외부 하둡 클러스터에 대한 의존성을 포함 --how 내가 무엇을해야하는 경우 하둡에 대한 종속성이 :profiles { :dev {:dependencies [[org.apache.hadoop/hadoop-core "1.1.2"]]}}
아래처럼
NULL 일 수있는 필드에 대해 카스 캐 로그에서 외부 조인을 수행 할 때 기본값을 지정하는 가장 좋은 방법은 무엇이 궁금합니다. (def example-query
(<- [?id ?fname ?lname !days-active]
(users :> ?id ?fname ?lname)
(active :> ?fname ?lname