加速json解析

Question

因此，我向一個返回約5000個結果的API發出請求。數據結構看起來像這樣：

[{'test': '1'}, {'test': '2'}, {'test': '3'}]（只有5000結果）

它目前正在大約30秒鐘做這個簡單的結構：

for x in ujson.loads(r.content): 
    pass 

正如你可以看到我使用ujson但與json.loads()相比，它甚至不會真的加快速度。

有關如何改善此性能的任何想法？

感謝

按照要求，如何IM定時代碼：

start = time.time() 
r = requests.get(url, headers={'Range': 'items=1-5000'}) 
print 'time to make request: {0}'.format(time.time() - start) 
for x in ujson.loads(r.content): 
    pass 
print 'time to parse request: {0}'.format(time.time() - start) 

Answer 1

也許ü可以使用r.json（）代替r.content的（http://docs.python-requests.org/en/master/)(https://github.com/kennethreitz/requests/blob/master/requests/models.py#L861) 不知道這是否是更快

Answer 2

嘗試：

ujson_loads = ujson.loads(r.content) 
for x in ujson_loads: 
    pass 

沒有測試它，但它可能是解決您的問題的方法。

Answer 3

，因爲我看到你使用Python 2，我會建議你cjson： 你需要

pip install python-cjson 

則：

import cjson 
start = time.time() 
r = requests.get(url, headers={'Range': 'items=1-5000'}) 
print 'time to make request: {0}'.format(time.time() - start) 
for x in cjson.decode(r.content): 
    pass 
print 'time to parse request: {0}'.format(time.time() - start) 

即使沒有那麼多沉重的JSON它比快ujson（）：

cjson - 解析請求的時間：0.000113010406494

ujson - 解析請求的時間：0.000193119049072