在IPython筆記本中繪製大型數據集（散景）

Question

我想要在IPython筆記本中繪製大型數據集。

我使用read_csv將〜0.5GB .csv文件讀入Pandas DataFrame，這需要大約兩分鐘的時間。然後我嘗試繪製這些數據。

data = pd.read_csv('large.csv') 
output_notebook() 
p1 = figure() 
p1.circle(data.index, data['myDataset']) 
show(p1) 

我的瀏覽器旋轉並且不顯示任何圖。使用ColumnSource對象爲source參數circle()

我的數據向下取樣的東西更容易管理的

1. output_file()代替output_notebook()
2. 製圖：我曾嘗試以下。

Bokeh在其網站上宣稱可以通過非常大的流媒體數據集提供「高性能的交互性」。我如何可視化這些大型數據集而不使計算機停止工作？

Answer 1

該問題太寬泛，無法提供任何特定的代碼建議。我會好奇你試過的縮減採樣的大小是多少。默認的HTML Canvas for Bokeh可以容納數以萬計的圈子。有幾個選項：

• 對於簡單的散點圖和幾十萬個點的線條，有一個可能很有用的WebGL後端。

  http://bokeh.pydata.org/en/latest/docs/user_guide/webgl.html

• 使用背景虛化服務器，創建一個背景虛化的應用使得它之前下采樣數據。有一些應用的例子在這裏：

  https://github.com/bokeh/bokeh/tree/master/examples/app

• 的DataShader庫可用於執行大型數據集下采樣，並與背景虛化很好地集成在一起。 DataShader演示/描述了美國人口普查數據集3.5億點的here, starting at about 54:00。