如果查詢結果太大怎麼辦

-1

我正在使用mysql連接器的python3從mysql數據庫進行查詢。我有這麼多的數據，如果我收集最近7天的數據，查詢的大小將超過10GB，因此強迫我的python腳本被殺害。我想通常我們可以流式傳輸結果，但是我沒有找到一種方法將查詢結果流式傳輸到mysql conncetor中。有什麼其他方式可以解決問題嗎？如果查詢結果太大怎麼辦

來源

2016-10-11 Bing Gan

上附帶一個示例，可能會通過「select into」將其阻塞到文件中。這就是說，在進入[XY問題]（http://meta.stackexchange.com/questions/66377/what-is-the-xy-problem）之前，你想要完成什麼？ – Drew

您可以使用連接器光標和'fetchmany'函數https://dev.mysql.com/doc/connector-python/en/connector-python-api-mysqlcursor-fetchmany.html –

@Anthony Kong的評論是正確的。爲了解決這個問題，我們可以做從https://dev.mysql.com/doc/connector-python/en/connector-python-api-mysqlcursor-fetchmany.html

fetchmany功能挖掘到代碼中的點點後，我發現fetchmany函數調用許多fetchone實現「支持fetchmany」。所以我決定最後使用fetchone。此外，fetchone在文檔https://dev.mysql.com/doc/connector-python/en/connector-python-api-mysqlcursor-fetchone.html

來源

2016-10-13 19:37:25

不要一次獲取結果集。你可以做以下或這些組合之一：

使用LIMIT, OFFSET使用SELECT into
使用日期/時間函數生成多個文件使用SELECT into

cat所有生成多個文件生成的文件使用cat hugedata_* > hugedata.csv

來源

2016-10-11 04:50:12 MontyPython

如果查詢結果太大怎麼辦

回答

相關問題