2
.NET에서 절약을 사용하여 Haseop Streaming을 사용하여 HBase에서 MapReduce 작업을 실행할 수 있습니까? 또는 .NET의 HBase에서 MapReduce 작업을 실행하는 다른 방법이 있습니까?.NET의 Thrift를 사용하여 Hbase의 MapReduce를 사용할 수 있습니까?
A
답변
-5
나는 이것을 성공적으로 달성했다. 그래서 대답은 '예'입니다.
편집
내가 왜 아래 표를 모르는, 질문은 대답을 가지고 있지만 다음 내가 그것을 달성하는 방법입니다
드리프트는 REST API에 비해 일부 시나리오에서 더 많은 빛 무게가 제공됩니다 자바 API보다 성능이 좋았습니다. Hadoop Streaming API를 사용하고 hbase와 통신하기 위해 Thrift를 사용하는 자체 Mapper 구현을 제공했습니다.
bin/hadoop jar contrib/streaming/hadoop-*-streaming.jar -input input/sample.txt -output output -mapper input/StdInOut.exe -reducer NONE
0
REST API (stargate)를 사용할 수도 있습니다. 그러나 중고품이나 스타 게이트 서버는 MapReduce 작업을 실행하는 좋은 방법이 아닙니다. 두 가지 모두 단일 경합 지점이되고 데이터 지역을 제공하지 않는 별도의 데몬 프로세스가 필요합니다. java mapreduce api은 입력 분할에 대한 데이터 로컬 영역을 식별합니다. 따라서 핵심은 닷넷과 함께 자바 API를 사용하는 것입니다. This question은 stdin/stdout을 통해 .Net 앱을 사용할 수 있도록 hbase 용 스트리밍 API에 대한 제 3 자 향상 기능을 제공합니다.
+0
그러나 드리프트는 REST API를보다 일부 시나리오에서 더 많은 빛 무게는 자바 API, 내가 하둡 스트리밍 API를 사용했습니다과 나 ', 그것에게 HBase를 통신하는 드리프트를 사용하여 내 자신의 매퍼 구현을 제공보다 더 많은 성능을 제공합니다 pseudo-distributed 모드에서 mapredue 작업을 성공적으로 실행할 수 있었지만 지금은 완전 분산 모드로 테스트 할 예정입니다. hbase가 HDFS를 데이터 저장소로 사용하므로 아무 문제가 없어야합니다. – Ali
문제 해결을위한 해결책을 제공해 주시겠습니까? – usahara
Seconded. 그것을 할 수 있다는 것을 아는 것은 좋은 일입니다. 어떻게해야 하는지를 아는 것이 여전히 더 좋을 것입니다. – jamiet
그런데 멋진 답. – RanchiRhino