將非常大的轉儲文件導入到MySQL數據庫中

我在MySQL官方論壇上提過這個問題，但沒有運氣，所以我會在這裏嘗試。將非常大的轉儲文件導入到MySQL數據庫中

原來的線程： http://forums.mysql.com/read.php?28,498593,498593#msg-498593

我試圖創造一個維基百科的副本，我幾乎已經完成，但有最大的文件的問題。

維基百科提供數據庫轉儲下載，所以每個人都可以創建維基百科的副本。

你可以找到示例文件位置： http://dumps.wikimedia.org/enwiki/20091103/

我幾乎所有的進口，但我堅持用最大的一個（pagelinks）。我將它導入了近五天，然後我不得不停止導入。我認爲導入很慢，因爲我的MySQL服務器的設置，但我不知道我應該改變。我在一臺機器上使用標準的Ubuntu MySQL配置，配備了體面的prozessor和4個內存。有人可以幫我解決一個適合我係統的配置嗎？我試圖從網絡的大型服務器相同的配置，但結果是，我的服務器沒有啓動，因爲一個套接字錯誤，我不得不從頭開始...

如果你可以，請看看一些轉儲，因爲我認爲問題與它們的構建有關，因爲一些較小的文件需要很長的時間導入，而一些較大的文件在幾分鐘內導入。

來源

2011-11-15 Barthel Zieba

如果你想得到一些幫助，你必須發佈你的mysql配置和一個4GB的內存似乎不是一個10GB的數據庫。 – Bytemain

這是一個針對超大型mysql數據庫非常快速導入的項目：https://github.com/homer6/import-geoip-data。好。 300 MB沒有那麼大，但它仍然很有趣。通常要導入一個.sql文件我寫thks：

mysql -p -h DBSERVER dbname [tablename] < dbfile.sql

也許你可以將大文件拆分成更小的表？

來源

2011-11-15 19:14:36 Bytemain

將非常大的轉儲文件導入到MySQL數據庫中

回答

相關問題