bigdata

0열

1답변

Big Data 애플리케이션의 CI/CD에 사용할 수있는 업계 표준은 무엇입니까?

Hadoop이나 Spark 및 기존 응용 프로그램에서 Big Data 응용 프로그램에 관해 이야기 할 때 CI/CD 접근 방식에 차이가 있습니까?

2열

1답변

MapReduce에서 더 많은 감속기를 사용하는 데 따른 장점과 단점은 무엇입니까?

MapReduce 프로그래밍은 모두 병렬 처리에 관한 것이므로 많은 경우 단일 감속기로 시작하는 이유는 무엇입니까? MapReduce에 더 많은 감속기가있는 장점과 단점은 무엇입니까?

0열

1답변

SparkContext 생성자를 두 번 호출 할 수 있습니까?

다음과 같이해야합니다. val conf = new SparkConf().setAppName("MyApp") val master = new SparkContext(conf).master if (master == "local[*]") // running locally { conf.set(...) conf.set(...) } else

0열

1답변

sqoop가 하이브로 동적 파티셔닝을 지원합니까?

sqoop은 하이브로 동적 파티셔닝을 지원합니까? 제가 후술하는 옵션을 사용하여 시도 는 : Sqoop을 가져 --connect "JDBC : MySQL은 : --hive 파티션 키와 --hive = 파티션 vlaue 예는 정적 파티션 위한//quickstart.cloudera:3306/prac " - 사용자 이름 루트 - 패스워드 cloudera - 하이

0열

1답변

Log4j in spark2-shell

spark2-shell -i 옵션을 통해 스파크 스크립트 중 하나를 실행 중입니다. log4j 프레임 워크를 사용하여 생성 된 로그를 파일로 리디렉션하고 싶습니다. 내가 실행하는 데 사용 명령 : spark2-shell --master yarn --deploy-mode client -i audit.scala --conf spark.driver.args="P

0열

1답변

로컬 호스트 : 오류 : 데이터 노드 프로세스의 우선 순위를 설정할 수 없습니다 나는 우분투 16.04에 하둡을 설치하려고하지만 하둡을 시작하는 동안 오류 다음 날 줄 것이다 32,156

localhost: ERROR: Cannot set priority of datanode process 32156. Starting secondary namenodes [it-OptiPlex-3020] 2017-09-18 21:13:48,343 WARN util.NativeCodeLoader: Unable to load native-hadoop libr

0열

2답변

지도

내가 내 자신에 의해 빅 데이터 하둡을 배우고 작동하지 않는 드라이버 코드를 줄이고 나는 간단한지도 호야를 작동하지 단어 개수에 대한 코드를 절감 썼다는 모습을 // importing all classes public class WordCount { public static class Map extends Mapper<LongWritabl

1열

1답변

Google 태그 관리자 클릭 스트림을 Amazon으로

따라서 효율적인 성능을 위해 어떤 서비스를 사용해야합니까? 배경 및 목적 : 각 범용 웹 로그 분석 태그 (이벤트 또는 페이지 뷰)가 비슷한 내 자신의 EC2 서버에 HTTP 요청을 전송 한 후, 그래서 그래서 내가 정확히 일을하려고하는 것은 사용 태그 관리자 사용자 정의 HTML입니다 Google 애널리틱스로 전송되는 항목까지 내가 생각 계획 및 지금까지

-1열

1답변

DynamoDb aws에서 table1에서 table2로 항목을 업데이트하는 방법은 무엇입니까?

나는 표 내가 Table2.Chicago에 데이터 Table1.City 항목을 업데이트 할 **Table1** City, Code Huntsville, AL **Table2** Location,State,Id Chicago, Illinois,2222 에서 표 2의 레코드를 업데이트 할 수 있습니다. AmazonDynamoDB dynamoclie

0열

1답변

cloudera, MapR 및 Hortonworks 중에서 어떤 Hadoop Distribution을 선택해야합니까?

방금 Big Data Hadoop 환경을 설정/구현해야하는 새 프로젝트를 시작했습니다. 나는 현재의 기술 세계에서 내가 선택해야만하는 hadoop 유통 기업 중 하나 인 Cloudera 또는 Hortonworks 또는 MapR 또는 AMZN을 기술적 또는 비용 관점 모두를 기반으로 알고 싶습니까?