在不知道架構的情況下加載非常大的JSON文件？

Question

我想在Python中加載一個非常大的JSON文件。我試過了：

import json 
data = open('file.json').read() 
loaded = json.loads(data) 

但這給我一個SIGKILL錯誤。

我已經試過：

import pandas as pd 
df = pd.read_json('file.json') 

，我得到的內存外的一個錯誤。

我想嘗試使用ijson來傳輸我的數據，並且一次只將一個子集拖入其中。但是，您需要知道JSON文件的模式，以便知道要查找哪些事件。我實際上不知道我的JSON文件的模式是什麼。所以，我有兩個問題：

1. 有沒有方法來加載或流在Python中的大型json文件而不知道架構？或者將JSON文件轉換爲另一種格式（或者轉換成postgresql服務器，例如）？

2. 是否有一個工具，用於吐出我的JSON文件的模式是什麼？

UPDATE：

用於head file.json得到一個什麼樣我的JSON文件看起來像一個想法。從那裏它更容易一點。

Answer 1

我會處理較小的文件。看看Lazy Method for Reading Big File in Python?。您可以調整建議的答案以按對象解析您的JSON對象。

Answer 2

您可以成批讀，像這樣

f=open("file.json") 
while True: 
    data = f.read(1024) 
    if not data: 
     break 
    yield data 

由行選項 數據= [] 開放（ '文件'）爲F線： 在F線：0​​data.append （json.loads（線））

也期待在 https://www.dataquest.io/blog/python-json-tutorial/

尋找更多答案與jsonline