紅移來DASK數據幀

Question

有沒有人有一個很好的整潔和穩定的方式來實現相當於：

pandas.read_sql(sql, con, chunksize=None) 

和/或

pandas.read_sql_table(table_name, con, schema=None, chunksize=None) 

連接與SQLAlchemy的& psycopg2紅移，直接進入dask DataFrame？

該解決方案應該能夠處理大量數據

Answer 1

的你可以考慮在dask.dataframe的read_sql_table功能。

http://dask.pydata.org/en/latest/dataframe-api.html#dask.dataframe.read_sql_table

>>> df = dd.read_sql('accounts', 'sqlite:///path/to/bank.db', 
...     npartitions=10, index_col='id') # doctest: +SKIP 

這依賴於pandas.read_sql_table函數內部，所以應該可以用同樣的限制進行操作，但現在你要求提供多個分區和索引列。