large-data-volumes

    1열

    2답변

    PHP를 통해 MySQL에서 100K 행을 가져올 때 이상한 동작이 발생했습니다.

    여기에 몇 가지 아이디어가 있습니다. 테스트 데이터가 100,000 행있는 MySQL 테이블이 있습니다. PHP 스크립트를 사용하여 해당 테이블에서 행을 가져오고이 테스트 케이스에서는 스크립트가 모든 100,000 행을 가져옵니다 (대형 데이터 세트의 프로파일 링 및 최적화 수행). 본인은 DB에 연결하고 버퍼링 쿼리를 실행합니다 if ($result) {
    php mysql large-data-volumes 2012-05-25

    0열

    1답변

    ffdf를 사용하여 메모리 부족 오류가 발생했습니다.

    다음과 같은 문제를 어떻게 해결할 수 있는지 알고 싶습니다. 나는 100million의 행과 4 개의 컬럼이있는 postgreSQL에 ffdf를 사용하는 R에서 사용하고 싶은 테이블을 가지고있다.이 Error en postgresqlExecStatement(conn, statement, ...) : RS-DBI driver: (could not R
    r large-data-volumes out-of-memory 2013-02-08

    -2열

    1답변

    4 백만 건의 문서 저장 및 검색

    400 만 개가 넘는 문서를 보유한 대형 데이터 세트를위한 스토리지 및 검색 솔루션을 구현해야합니다. 각 문서는 40 개 이상의 필드 (또는 검색 기준)를 갖습니다. 저는 Lucene과 Solr과 함께 작업했기 때문에이 문제를 해결하는 경향이 있습니다 (다른 아이디어와 솔루션은 물론 환영합니다). 하지만 문제는 저에게 효율적이고 확장 가능한 스토리지입니다.
    java search nosql storage large-data-volumes 2012-08-03

    0열

    1답변

    Google App Engine에서 조건을 사용하여 집계 쿼리를 해결하는 방법

    내 앱에서 사용자에게 일부 문자열을 입력하라고합니다. 사용자는 문자열을 여러 번 입력 할 수 있습니다. 모든 사용자가 문자열을 입력 할 때마다 나는 그 날짜와 함께 데이터베이스에 기록합니다. 다른 사용자가 입력하더라도 많은 문자열이 동일 할 수 있습니다. 홈페이지에서 모든 사용자가 모든 기간 (예 : 지난 45 일 또는 2012 년 1 월 30 일에서 30
    google-app-engine aggregate condition large-data-volumes 2012-06-26

    0열

    1답변

    천천히 SELECT COUNT (*), information_schema, 카디널리티 필드

    나는 (60 + 수백만 레코드) 테이블이 있습니다. 이 테이블에는 기본 키 (id, auto_increment, 인덱스 ID)가 있습니다. 이 테이블의 레코드를 선택하는 보고서가 있습니다. 그리고이 보고서 (PHP로 작성)를 탐색하고 탐색하기 위해 페이지 매김 스크립트를 사용하고 있습니다. 이 스크립트는 SELECT COUNT ()를 사용하여이 테이블의 레
    mysql database-performance large-data-volumes large-data 2012-10-04

    4열

    1답변

    거대한 3D 배열을 시각화하는 Mayavi

    나는 약 6 백만 포인트의 3D 데이터 세트를 가지고 있습니다. contour3D를 사용하여 플롯 할 방법이 있습니까? 시도 할 때마다, mayavi는 기억을 잃습니다. 다른 방법으로, volume() ctf의 색상 수를 256 색상 이상으로 늘릴 수있는 방법이 있습니다. 나는 부동 소수점 데이터 값을 가지며 Volume()을 사용하기 위해 그들을 이산해야
    3d large-data-volumes mayavi 2012-11-26

    0열

    1답변

    openJPA 쿼리에서 155000 개의 엔티티 생성하기

    최악의 경우 150,000 개 이상의 엔티티를 생성하는 쿼리가 있습니다. 아마 300,000k 개체의 상한선이있을 것입니다. 이 데이터 집합을 사용자에게 반환하는 여러 가지 방법을 시도했습니다. SQL Developer를 사용하여 쿼리를 실행하고 약 .348 초 만에 실행됩니다. 그래서 그것은 어떤 종류의 병목도 아닙니다. 나는 String query2 =
    openjpa large-data-volumes 2012-10-10

    2열

    1답변

    대용량 데이터 세트에서 정규 표현식을 사용할 때 공간 및 시간 문제가 발생했습니다.

    문서에서 패턴을 검색하는 데 사용되는 큰 (200,000 개가 넘는) 문자열 배열이 있습니다. 문서에 적용하기 전에 배열의 각 항목을 정규식으로 변환합니다. 이 작업을 수행 할 때 배열을 통해 순차적으로 검색을 수행하는 데 걸리는 시간이 크게 늘어납니다. 이것이 Pattern.compile 문에 대한 것이고, 검색을 수행하기 전에 각 정규 표현식에 차례대로
    java regex large-data-volumes 2012-10-24

    1열

    1답변

    대용량 트랜잭션 데이터 정보 패턴 생성

    대용량 트랜잭션 데이터에서 유익한 데이터 패턴을 파악하려고합니다. 일반적으로 내 데이터는 발신자, 수신자, 금액, 통화 주소 등의 잘 정의 된 열이있는 레코드 집합이며 데이터 양은 수백만 (100 억 개가 될 수 있음) 기록 및 나의 목표는이 같은 것에서 유익한 트랜잭션 패턴을 생성하는 것입니다. 가장 큰, 가장 큰 거래 수령인, 비용 패턴, 동일한 다른
    hadoop distributed-computing large-data-volumes 2012-10-25

    4열

    1답변

    가장 효율적인 방법으로 데이터베이스를 업데이트하려면 어떻게합니까?

    나는 약 300.000 개의 제품과 수백 개의 클라이언트를 보유하고있는 가격 비교 사이트를 구축 중이다. 매일 사이트 가격 및 공급 업체 재고 가용성을 업데이트해야합니다. 공급 업체가 업데이트해야 할 때마다 모든 공급 업체 정보를 삭제 한 다음 매번 새로운 정보를 가져 와서 삽입하는 방법을 고려하고있었습니다. 이렇게하면 제품을 삭제하는 공급 업체에 대해 걱
    database performance large-data-volumes 2012-07-18
최근 질문