Python：如何將數據採樣到測試和訓練數據集？

Question

我一直在使用一個CSV數據來實現我的腳本，並希望將數據樣本分成兩個數據集：

1. 測試數據
2. 列車數據

我想採樣數據集85％和15％的部門，並希望輸出兩個CSV文件Test.csv和Train.csv

我希望它在基礎Python中做，不想使用任何其他外部模塊，如Numpy，SciPy，Pandas或Scikitlearn 。任何人都可以幫助我以百分比的方式隨機抽取數據。此外，我將提供可能具有隨機觀察數的數據集。到目前爲止，我剛剛閱讀了熊貓和其他各種模塊以百分比爲基礎對數據進行了抽樣，並沒有針對我的問題提供具體的解決方案。

此外，我想在這兩個文件中保留CSV的標題。由於標題會使每行可訪問，並可用於進一步分析。

Answer 1

使用random module中的random函數可得到0和1之間的均勻分佈的隨機數。

如果是> .85寫入訓練數據，否則測試數據。見How do I simulate flip of biased coin in python?。

import random 

with open(input_file) as data: 
    with open(test_output, 'w') as test: 
     with open(train_output, 'w') as train: 
      header = next(data) 
      test.write(header) 
      train.write(header) 
      for line in data: 
       if random.random() > 0.85: 
        train.write(line) 
       else: 
        test.write(line) 

Answer 2

使用random.shuffle來創建數據集的隨機排列，並切它如你所願：

import random 
random.shuffle(data) 
train = data[:int(len(data)*0.85)] 
test = data[len(train):] 

---

由於您所請求的特定解決方案來劃分一個潛在的大的CSV文件分成兩個文件的培訓和測試數據，我也將顯示如何，可以使用如上述的一般方法類似的方法來完成：

import random 

# Count lines 
with open('data.csv','r') as csvf: 
    linecount = sum(1 for lines in csvf if line.strip() != '') 

# Create index sets for training and test data 
indices = list(range(linecount)) 
random.shuffle(indices) 
ind_test = set(indices[:int(linecount*0.15)]) 
del indices 

# Partition CSV file 
with open('data.csv','r') as csvf, open('train.csv','w') as trainf, open('test.csv','w') as testf: 
    i = 0 
    for line in csvf: 
     if line.strip() != '': 
      if i in ind_test: 
       testf.write(line.strip() + '\n') 
      else: 
       trainf.write(line.strip() + '\n') 

由此，我假定第e CSV文件每行包含一個觀察值。

這將創建一個精確的85:15分割。如果準確度較低的分區對您來說還不錯，Peter Wood的解決方案會更有效率。