我有一大堆記錄的MySQL表,有沒有一種簡單的方法將它導出爲每一百萬條記錄的.CSV塊?導出數據塊中包含數億條記錄的MySQL表?
回答
我會做到這一點(假設一些鎖具企業沒有打倒你的應用程序,否則,使用讀取從站):
mysqldump -u user -pPASS --skip-extended-insert --no-create-info --no-create-db --compact > your.sql
這應該給你,每行INSERT
語句的文件。
然後使用split
:
split -l 1000000 your.sql your-sql
應該創建your-sql
前綴的文件 - 100每。 split
可在Linux,Unix和MacOSX上使用。
讓我知道這是否有幫助!
)Sweeeeeet!斯普利特真棒。謝謝直到! –
樂意幫忙! ;) – Till
未分塊,將工作一樣好,但這裏有一個解決方案:
SELECT *
INTO OUTFILE 'file_0.csv' -- Change the filename here
FIELDS
TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
ESCAPED BY '\\'
LINES TERMINATED BY '\n'
FROM table
WHERE id BETWEEN 0 AND 1000000 -- And change the range here
請注意,要限制你的範圍與上索引列where
,否則你的數據庫將得到很重負荷。
任何方式來做到這一點,而無需手動更改每百萬的範圍? –
您可以編寫一個腳本來自動執行此操作(可能使用MySQL中的存儲過程),除此之外,您可以將其導出並稍後拆分它。像Till在另一個答案中顯示的那樣。 Sweeeeeet!( – Wolph
- 1. 數據庫含7億條記錄
- 2. 數據庫設計 - 一張表中有數十億條記錄?
- 3. 從包含2億條記錄的表中選擇一些記錄
- 4. SQL查詢 - 包含300列和1.2億條記錄的表
- 5. 批量插入數億條記錄
- 6. 我如何從mongodb中導出3億條記錄?
- 7. 我想在oracle數據庫中插入10億條記錄
- 8. 搜索包含數十億記錄的MySQL數據庫的最快方法是什麼?
- 9. 在一列中包含多個條目的數據庫記錄
- 10. 處理大量數據(大約4億條記錄)
- 11. 加載天龍數據70億條記錄
- 12. 數據表中的多條記錄
- 13. 回聲JSON_ENCODE($ json)只包含最後一條記錄的數據
- 14. MySQL的SELECT記錄(數據庫名稱包含 ' - ')
- 15. 從mysql數據庫的所有表中刪除一條記錄
- 16. 如何在導出選項中顯示數據表中的100k條記錄?
- 17. 如何優化和維護一個包含10億條記錄的MongoDB集合?
- 18. 上傳服務器上有數十億條記錄的文件,並在數據庫中插入記錄
- 19. Powershell - DataSet包含記錄數
- 20. 導出表是否包含Win32 Exe函數的所有條目?
- 21. MongoMapper新記錄包含舊記錄的數據
- 22. 最快的nosql爲數十億記錄
- 23. 帶有潛在數十億條記錄的ORM使用
- 24. 熊貓groupby +轉換需要6億條記錄的小時數
- 25. 處理MySQL和PHP/Laravel中的數百萬條數據記錄
- 26. 用monetdb生成1億條記錄
- 27. Oracle 11g更新了包含數百萬條記錄的表中的行
- 28. 從數據庫中取出一條記錄到選擇列表
- 29. 從MYSQL表中導出特定數據
- 30. 雙記錄導出數據時,以CSV
你能分享爲什麼你想要塊?例如。導出時間過長(表格鎖定)還是需要進一步處理? – Till
客戶希望能夠在Excel中打開某些範圍 –