병렬로 배열에 여러 개의 대형 csv 파일을 읽을

Question

일부 자습서와 여기에 stackoverflow에 어떤 사람들의 도움으로, 나는이 기본 병렬 (여러 파일) ​​csv -> 배열 리더를 꿰매 관리했습니다. 더 빨리 할 수 ​​있을까요? 나는 파일을 메모리에 미리로드하거나, 어떻게 든 스레드를 최적화하거나, cuda (일부 작은 경험이있는)에서 일부 작업을 수행 할 가능성에 대해 여기 저기 읽었습니다. 그러나 다음 단계가 무엇인지 단서가 없습니다. 이것을 빨리 할 수있는 제안이 있습니까? :

// parallel-matrix-multiply.cpp 
// compile with: /EHsc 
#include <windows.h> 
#include <ppl.h> 
#include <iostream> 
#include <random> 

using namespace concurrency;  
using namespace std; 

#include <fstream> 
#include <sstream> 

int main() 
{ 
    int numRows = 360; 
    int numCols = 4096; 

    int** data = new int*[numRows * 120]; 
    for (int i = 0; i < numRows * 120; i++) { 
     data[i] = new int[numCols]; 
    } 

    clock_t starttimetotal = clock(); 
    char comma; // Just a place holder to store the commas 
    char newLine; // Just a place holder to store the newlines 

    int m = 120; //120 files of same format 

    Concurrency::parallel_for(0, m, 
     [&numCols, &numRows, &comma, &newLine, &data](int i) { 

     std::ifstream in("C:/codeoutput/output_" + std::to_string(i + 1) + ".txt"); 

     for (int row = 0; row < numRows; row++) { 
      for (int col = 0; col < numCols; col++) 
      { 
       // Grab Data for the cell in (row,col) 
       in >> data[i * 360 + row][col]; 
       // If this is not the last column grab the comma between the values 
       if (col < numCols - 1) { 
        in >> comma; 
       } 
      } 
      in >> newLine; // Grab the remaining newLine character 
     } 
     in.close(); 
    }); 

    clock_t stoptotal = clock(); 
    double elapsed = (double)(stoptotal - starttimetotal) * 1000.0/CLOCKS_PER_SEC; 
    printf("Time elapsed in ms: %f\n", elapsed); 

    return 0; 
} 

Answer 1

내부 루프는 외부 루프로 이동할 수있는 사항을 계산합니다. 이를 염두에두고 병목 현상이 파일을 읽는 것이 가장 쉽기 때문에 이것이 큰 차이를 만들지는 확실하지 않습니다.

for (int row = 0; row < numRows; row++) { 
     int rowIdx = i * 360 + row; 
     for (int col = 0; col < numCols - 1; col++) 
     { 
      // Grab Data for the cell in (row,col) 
      in >> data[rowIdx][col]; 
      in >> comma; 
     } 

     // Get last column + new line 
     in >> data[rowIdx][numCols - 1]; 
     in >> newLine; // Grab the remaining newLine character 
    }