bigdata

0열

1답변

아파치는 자동 크기 조정 속성을 스파크 - 스파크 프로그램의 실행 동안 플라이

에 근로자를 추가의 말을하자, 메모리에 데이터 10GB의 읽기, 단지 필터링,지도를하고, 다음 다른에 저장 저장. 로드에 따라 클러스터를 자동으로 스케일링 할 수 있습니까? 예를 들어이 프로그램이 궁극적으로 10GB 대신 1TB를 처리해야한다면 Worker Nodes를 프로그램에 추가 할 수 있습니까? 가능하다면 어떻게 할 수 있습니까?

scala apache-spark mapreduce bigdata 2017-11-05

---

-4열

1답변

주어진 포인트의 함수를 어떻게 예측할 수 있습니까?

많은 포인트 (X, Y)가있는 경우 Y = f(X) = b0 + b1X + b2X^2 + .. + bkX^k. 어떻게 b0, b1, ..., bk과 k를 계산할 수 있습니까?

machine-learning bigdata data-mining 2017-11-06

---

0열

2답변

PHP - 대형 데이터 세트를 처리 할 때 허용 된 메모리 초과

나는 목록 데이터가 999,000 레코드입니다. 데이터를 가져 오기 위해 select 쿼리와 while 루프가 있는데, array_push를 사용하여 검색된 값을 루프의 한 배열에 추가합니다. 그리고 나서 모든 루프가이 배열에서 1000 개의 값을 처리하도록합니다. Fatal Error: Allowed Memory Size of 134217728 Bytes

php out-of-memory bigdata 2017-11-06

---

1열

1답변

NoSQL의 한 파티션에서 데이터가 너무 큰 경우 쿼리가 느려지지 않도록하려면 어떻게해야합니까?

나는 카산드라를 배우고 있습니다. 이제, NoSQL이 다루는 SQL의 문제에 대해 생각하고 있으며, 매우 큰 데이터의 경우에 대한 질문이 있습니다. 매우 큰 데이터를 처리하는 SQL에 대해 다른 서버에 테이블을 조인하기 때문에 테이블이 다른 서버에 있고 쿼리가 느리다는 것을 많은 페이지에서 말하고 있다고 생각했습니다. 이것은 NoSQL이 처리하는 SQL의

sql cassandra nosql bigdata data-modeling 2017-11-07

---

-1열

1답변

Hdfs 파일 줄 수

명령 프롬프트에서 다음 명령을 수행하면 Java에서 HDFS 디렉토리의 행을 세는 방법이 있습니까? hadoop fs -cat /abc/def/* | wc -l 특히 map-reduce 또는 spark 코드를 작성하는 대신 HADOOP API를 사용합니다. 이 같은

hadoop mapreduce bigdata 2017-11-07

---

-1열

2답변

C# 반복적 인 Json을 사용한 파일의 평가

많은 Json-Files (평균 50 개의 파일, 모든 파일의 평균이 9MB)를 평가하는 알고리즘을 작성했습니다.이 평가는 138 회 반복됩니다. 처음에는 데이터가 큰 500mb jsonfile에 쓰여지고, 그 다음이 작은 파일로 분할되어 데이터를 처리합니다. JSON.NET을 사용하여 임. 파일을 읽는 데 전혀 시간이 걸리지 않지만 JObject로 파싱하

c# json algorithm performance bigdata 2017-11-09

---

0열

2답변

Python에서 매우 큰 xlsx 파일 읽기

xlsx 파일 300GB를 읽어야합니다. 행 수 ~ 10^9. 하나의 열에서 값을 가져와야합니다. 파일은 8 개의 열로 구성됩니다. 나는 가능한 한 빨리 그것을하고 싶다. from openpyxl import load_workbook import datetime wb = load_workbook(filename="C:\Users\Predator\Down

python excel bigdata 2017-11-12

---

-1열

1답변

Hadoop 클러스터 구성

amazon 웹 서비스를 사용하여 다음과 같은 네 개의 노드로 구성된 클러스터를 만들었습니다. - 하나의 노드를 마스터 노드 (RAM 1GB, CPU 1 코어, HDD 8GB) - 노드 3 개 슬레이브 노드 및 각 노드 사양으로 (RAM 2GB, CPU 2 코어, HDD 8GB) 내 질문 : - 어떻게이 클러스터를 올바르게 구성 할 수 있습니까? - 몇 개

hadoop bigdata cluster-computing yarn resourcemanager 2017-11-12

---

0열

1답변

하이브 쿼리 실패 : ParseException 라인이 '(' 'WITH'DATA_SET 'select 절의 입력을 인식 할 수 없음

select 문에서 "WITH"절을 사용하여 하이브 뷰 쿼리를 컴파일 할 때 오류가 발생합니다. 이는 내가 만들려고하고 나는 오류가 발생 create view test_view as( with data_set as (select * from test_data) select * from data_set ) ; 오류 - 오류 문 컴파일하는 동안 :.

hadoop hive bigdata hiveql 2017-11-13

---

0열

1답변

Apache Flink : 스트리밍 응용 프로그램에 intermedia 데이터를 저장하는 방법

Flink의 DataStream API로 MisraGries 알고리즘을 구현하고 있습니다. k 카운터는 증가 또는 감소하여 데이터 요약을 기록합니다. DataStream API를 사용하여 알고리즘을 구현할 때 이러한 카운터를 저장하는 가장 좋은 방법은 무엇입니까? 이제 연산자에서 변수를 HashMap으로 선언했습니다. 이 방법이 올바른지 또는 국가와 같은

bigdata apache-flink flink-streaming 2017-11-14

---