使用類型（）信息來將值存儲爲字符串

Question

在我的應用程序中，我生成了許多值（三列，類型爲int，str和datetime，請參見下面的示例），並將這些值存儲在平面文件中逗號分隔的字符串。此外，我存儲一個包含值的類型的文件（見下文）。現在，如何使用這些信息將我的值從平面文件轉換爲Python中正確的數據類型？是可能的還是我需要做一些其他的東西？

數據文件：

#id,value,date 
1,a,2011-09-13 15:00:00 
2,b,2011-09-13 15:10:00 
3,c,2011-09-13 15:20:00 
4,d,2011-09-13 15:30:00 

類型的文件：

id,<type 'int'> 
value,<type 'str'> 
date,<type 'datetime.datetime'> 

Answer 1

據我所知，你已經解析了文件，你現在只需要得到正確的類型。我們假設id_,type_和value是三個包含文件中值的字符串。 （請注意，type_應該包含'int' —例如—，不'<type 'int'>'

def convert(value, type_): 
    import importlib 
    try: 
     # Check if it's a builtin type 
     module = importlib.import_module('__builtin__') 
     cls = getattr(module, type_) 
    except AttributeError: 
     # if not, separate module and class 
     module, type_ = type_.rsplit(".", 1) 
     module = importlib.import_module(module) 
     cls = getattr(module, type_) 
    return cls(value) 

然後你可以使用它像..：

value = convert("5", "int") 

不幸的是，日期時間，雖然這並不工作，因爲它不能只需通過其字符串表示初始化即可

Answer 2

遵循以下步驟：

1. 逐行讀取文件中的行，每行執行以下步驟
2. 拆分使用split()和,作爲分隔符。
3. 將列表的第一個元素（來自第2步）作爲int進行投射。將第二個元素保留爲字符串。解析第三個值(e.g. using slices)並使相同的對象成爲datetime。

Answer 3

我不得不面對類似的情況在最近的一個項目中，必須轉換很多領域。我使用了元組列表，其中元組的一個元素是要使用的轉換函數。有時候是int或float;有時候是簡單的lambda;有時它是其他地方定義的函數的名稱。

Answer 4

而不是有一個單獨的「類型」的文件，把你的元組列表(id, value, date)和只是pickle它。

或者您必須解決將字符串到類型轉換器存儲爲文本（在您的「類型」文件中）的問題，這可能是一個有趣的問題，但如果您只是試圖完成任務，與pickle或cPickle

Answer 5

首先，您不能編寫一個神奇地處理任何事情的「通用」或「智能」轉換。其次，試圖在代碼之外的任何其他任何事情中總結一個字符串到數據的轉換似乎永遠不會奏效。因此，不要編寫名稱轉換的字符串，只需編寫轉換即可。

最後，試圖用特定於領域的語言編寫配置文件是愚蠢的。只需編寫Python代碼。這並不比試圖解析某個配置文件複雜得多。

是可能的還是我需要做一些其他的東西？

不要浪費時間去嘗試創建一個不僅僅是Python的「類型文件」。它沒有幫助。將轉換寫爲Python函數更簡單。您可以將該功能導入爲您的「類型文件」。

import datetime 

def convert(row): 
    return dict(
     id= int(row['id']), 
     value= str(row['value']), 
     date= datetime.datetime.strptime(row['date],"%Y-%m-%d %H:%M:%S"), 
    ) 

這就是你在「文件類型」

現在你可以閱讀（過程）你的輸入這樣有。

from type_file import convert 
import csv 

with open("date", "rb") as source: 
    rdr= csv.DictReader(source) 
    for row in rdr: 
     useful_row= convert(row) 

---

在許多情況下，我不知道列數或運行

之前的數據類型這意味着你註定。

您必須具有文件內容的實際定義，否則無法進行任何處理。

"id","value","other value" 
1,23507,3 

你不知道「23507」應該是一個整數，字符串，郵政編碼，或浮點（其中省略了週期），持續時間（以天或秒）或一些其他更復雜的事情。你不能指望，也不能猜測。

獲得定義後，需要根據實際定義編寫顯式轉換函數。

寫完轉換之後，您需要（a）用一個簡單的單元測試測試轉換，並（b）測試數據以確保其真正轉換。

然後您可以處理該文件。

Answer 6

您的類型文件可以更簡單：

id=int 
value=str 
date=datetime.datetime 

然後在你的主程序可以

import datetime 

def convert_datetime(text): 
    return datetime.datetime.strptime(text, "%Y-%m-%d %H:%M:%S") 

data_types = {'int':int, 'str':str, 'datetime.datetime':convert_datetime} 
fields = {} 

for line in open('example_types.txt').readlines(): 
    key, val = line.strip().split('=') 
    fields[key] = val 

data_file = open('actual_data.txt') 
field_info = data_file.readline().strip('#\n ').split(',') 
values = [] #store it all here for now 

for line in data_file.readlines(): 
    row = [] 
    for i, element in enumerate(line.strip().split(',')): 
     element_type = fields[field_info[i]] # will get 'int', 'str', or 'datetime' 
     convert = data_types[element_type] 
     row.append(convert(element)) 
    values.append(row) 

# to show it working... 
for row in values: 
    print row 

Answer 7

你可能想看看xlrd模塊。如果您可以將數據加載到excel中，並且知道每個列與哪種類型相關聯，那麼當您讀取excel文件時，xlrd會爲您提供類型。當然，如果數據以csv的形式提供給你，那麼有人需要進入excel文件並手動更改列類型。

不知道這會讓你一路走到你想去的地方，但它可能有幫助