數據幀

Question

說我必須存儲的數據如下：

[[[{}][{}]]] 

或詞典

的兩個列表的列表的列表，其中：

{}：包含數據的字典從觀察事件的各個框架。 （有兩個觀察員/電臺，因此有兩本字典。）

[{}][{}]：與單個事件相關的所有單個幀的兩個列表，每個觀察者/電臺一個。

[[{}][{}]]：單夜觀察所有事件的列表。

[[[{}][{}]]]：所有夜晚的列表。

希望這是明確的。我想要做的是創建兩個熊貓數據框，其中來自station_1的所有字典存儲在一箇中，並且所有來自station_2的字典存儲在另一箇中。

我的當前方法是如下（其中data爲上述數據結構）：

for night in range(len(data)): 

    station_1 = pd.DataFrame(data[night][0]) 
    station_2 = pd.DataFrame(data[night][1]) 

    all_station_1.append(station_1) 
    all_station_2.append(station_2) 

all_station_1 = pd.concat(all_station_1) 
all_station_2 = pd.concat(all_station_2) 

我的理解是，雖然for循環必須效率極其低下，因爲我將縮放的這個腳本方式應用從我的樣本數據集中，這個成本很容易變得難以管理。

因此，任何意見，以更聰明的方式進行，將不勝感激！我覺得熊貓是如此的用戶友好，這是一種處理任何類型的數據結構的有效方式，但我還沒有能夠自己找到它。謝謝！

Answer 1

我不認爲你真的可以避免在這裏使用循環，除非你想通過sh調用jq。請參閱this answer

不管怎樣，使用您的完整示例，我設法將它解析爲多索引的數據框，我認爲它就是您想要的。

import datetime 
import re 
import json 

data=None 
with open('datasample.txt', 'r') as f: 
    data=f.readlines() 
# There's only one line 
data=data[0] 

# Replace single quotes to double quotes: I did that in the .txt file itself, you could do it using re 

# Fix the datetime problem 
cleaned_data = re.sub(r'(datetime.datetime\(.*?\))', lambda x: '"'+ str(eval(x.group(0)).isoformat())+'"', data) 

現在，從文件中的字符串是有效的JSON，我們可以加載它：

json_data = json.loads(cleaned_data) 

我們可以處理成一個數據幀：

# List to store the dfs before concat 
all_ = [] 
for n, night in enumerate(json_data): 
    for s, station in enumerate(night): 
     events = pd.DataFrame(station) 
     # Set index to the event number 
     events = events.set_index('###') 
     # Prepend night number and station number to index 
     events.index = pd.MultiIndex.from_tuples([(n, s, x) for x in events.index]) 
     all_.append(events) 

df_all = pd.concat(all_) 
# Rename the index levels 
df_all.index.names = ['Night','Station','Event'] 
# Convert to datetime 
df_all.DateTime = pd.to_datetime(df_all.DateTime) 
df_all 

（截斷）結果：