如何將一組文檔收集到熊貓數據框中？

我有一個目錄充滿txt文件：如何將一組文檔收集到熊貓數據框中？

. 
├── file.txt 
├── file.txt 
├── file.txt 
... 
├── file.txt 
└── file.txt

我如何讀入數據幀大熊貓的所有文件？換句話說，我的目標是在大熊貓數據幀對象來存儲一些文件是這樣的（* ）：

id text_blob 
0 file_name.txt Lore lipsum dolor done 
1 file_name.txt Lore lipsum ... 
2 file_name.txt dolor ... 
3 file_name.txt lore lipsum lore ... 
4 file_name.txt dolor...

到目前爲止，我嘗試了下面的代碼。然而，這不是Python的，我有一些格式化錯誤（例如空間問題，'"，格式化。）：

import glob, os, csv, argparse, sys 

def retrive(directory_path): 
    for filename in sorted(glob.glob(os.path.join(directory_path, '*.txt'))): 
     with open(filename, 'r') as f: 
      important_stuff = f.read().splitlines() 
      oneline = [' '.join(important_stuff)] 
      yield filename.split('/')[-1] + ', ' +str(oneline).strip('[]"') 

def trans(directory,directory2): 
      test = tuple(retrive(directory)) 
      with codecs.open(directory2,'w', encoding='utf8') as out: 
       csv_out=csv.writer(out, delimiter='|') 
       csv_out.writerow(['name','text_blob']) 
       for row in test: 
        csv_out.writerow(row.split(', ', 1)) 


input_d = '../in' 
out_d = '../out' 



trans(input_d,out_d)

來源

2016-12-28 J.Do

我不知道你期望的結果是什麼樣子。請閱讀http://stackoverflow.com/help/mcve和http://stackoverflow.com/help/how-to-ask – piRSquared

@piRSquared，感謝您的幫助。我期望有一個熊貓數據框裏面的所有文件。正如您在（*）中看到的，熊貓數據框符合.txt文檔的名稱，右側是文檔的內容。 –

import glob, os 
import pandas as pd 

input_d = '../in' 
filenames = [] 
blobs = [] 
for pathname in sorted(glob.glob(os.path.join(input_d, '*.txt'))): 
    with open(pathname, 'r') as txtfile: 
     filename = os.path.basename(pathname) 
     filenames.append(filename) 
     blob = ' '.join(txtfile.read().splitlines()) 
     blobs.append(blob) 

df = pd.DataFrame({'id':filenames, 'text_blob':blobs})

熊貓數據幀可以在many ways.其中之一是通過一個字典對象被創建。

來源

2016-12-28 02:51:07 SergiyKolesnikov

如何將一組文檔收集到熊貓數據框中？

回答

相關問題