如何讀取CSV文件並將其分配給特徵矩陣？

Question

我嘗試將一個大的CVS文件讀入Eigen Matrix，在發現有問題的代碼下面，它無法檢測到CVS文件中的每行\ n以在矩陣中創建多行。 （它用單行讀取整個文件）。不知道代碼有什麼問題。任何人都可以在此建議 林也尋找一種有效的方式來讀取10k行和1k cols的csv文件。不太確定下面的代碼是否是最有效的方式？非常感謝您的評論。

#include <stdio.h> 
#include <stdlib.h> 
#include <iostream> 
#include <fstream> 
#include <istream> //DataFile.fail() function 
#include <vector> 
#include <set> 
#include <string> 
using namespace std; 


#include <Eigen/Core> 
#include <Eigen/Dense> 
using namespace Eigen; 

void readCSV(istream &input, vector< vector<string> > &output) 
{ 
    int a = 0; 
    int b = 0; 

    string csvLine; 
    // read every line from the stream 
    while(std::getline(input, csvLine)) 
    { 

     istringstream csvStream(csvLine); 
     vector<string> csvColumn; 
     MatrixXd mv; 
     string csvElement; 
     // read every element from the line that is seperated by commas 
     // and put it into the vector or strings 
     while(getline(csvStream, csvElement, ' ')) 
     { 
      csvColumn.push_back(csvElement); 
      //mv.push_back(csvElement); 
      b++; 
     }  
     output.push_back(csvColumn); 
     a++; 
    } 
    cout << "a : " << a << " b : " << b << endl; //a doen't detect '\n' 
} 

int main(int argc, char* argv[]) 
{ 

    cout<< "ELM" << endl; 
    //Testing to load dataset from file. 
    fstream file("Sample3.csv", ios::in); 
    if(!file.is_open()) 
    { 
     cout << "File not found!\n"; 
     return 1; 
    } 
    MatrixXd m(3,1000); 
    // typedef to save typing for the following object 
    typedef vector< vector<string> > csvVector; 
    csvVector csvData; 

    readCSV(file, csvData); 
    // print out read data to prove reading worked 
    for(csvVector::iterator i = csvData.begin(); i != csvData.end(); ++i) 
    { 
     for(vector<string>::iterator j = i->begin(); j != i->end(); ++j) 
     { 
      m(i,j) = *j; 
      cout << *j << ", "; 
     } 
     cout << "\n"; 
    } 
} 

我也將附上一個示例CVS文件。 https://onedrive.live.com/redir?resid=F1507EBE7BF1C5B!117&authkey=!AMzCnpBqxUyF1BA&ithint=file%2ccsv

Answer 1

這將從正確csv文件閱讀：

std::ifstream indata; 

indata.open(filename); 

std::string    line; 
while (getline(indata, line)) 
{ 
    std::stringstream   lineStream(line); 
    std::string    cell; 

    while (std::getline(lineStream, cell, ',')) 
    { 
     //Process cell 
    } 
} 

編輯：此外，由於您的CSV是全數字的，確保一旦你希望把他們使用std::stod或等值轉換因此。

Answer 2

請隨意將CSV文件讀入vector <vector>（例如Lucas的answer）。而不是vector< vector<string> >結構，請使用vector< vector<double> >或更好的簡單vector<double>。要指定有效利用vector< vector<double> >向量到特徵矩陣的向量，使用以下命令：

Eigen::MatrixXcd mat(rows, cols); 
for(int i = 0; i < rows; i++) 
    mat.row(i) = Eigen::Map<Eigen::VectorXd> (csvData[i].data(), cols).cast<complex<double> >(); 

如果您選擇使用vector<double>選項，就變成：

Eigen::MatrixXcd mat(rows, cols); 
mat = Eigen::Map<Eigen::VectorXd> (csvData.data(), rows, cols).cast<complex<double> >().transpose(); 

Answer 3

這裏是你實際上可以複製的東西 - 粘貼

編寫自己的 「語法分析器」

優點：重量輕，可定製

缺點：定製

#include <Eigen/Dense> 
#include <vector> 
#include <fstream> 

using namespace Eigen; 

template<typename M> 
M load_csv (const std::string & path) { 
    std::ifstream indata; 
    indata.open(path); 
    std::string line; 
    std::vector<double> values; 
    uint rows = 0; 
    while (std::getline(indata, line)) { 
     std::stringstream lineStream(line); 
     std::string cell; 
     while (std::getline(lineStream, cell, ',')) { 
      values.push_back(std::stod(cell)); 
     } 
     ++rows; 
    } 
    return Map<const Matrix<typename M::Scalar, M::RowsAtCompileTime, M::ColsAtCompileTime, RowMajor>>(values.data(), rows, values.size()/rows); 
} 

使用：

MatrixXd A = load_csv<MatrixXd>("C:/Users/.../A.csv"); 
Matrix3d B = load_csv<Matrix3d>("C:/Users/.../B.csv"); 
VectorXd v = load_csv<VectorXd>("C:/Users/.../v.csv"); 

使用犰狳庫的解析器

優點：支持其他格式的，而不僅僅是以csv

缺點：額外的依賴

#include <armadillo> 

template <typename M> 
M load_csv_arma (const std::string & path) { 
    arma::mat X; 
    X.load(path, arma::csv_ascii); 
    return Eigen::Map<const M>(X.memptr(), X.n_rows, X.n_cols); 
}