2009-07-17 49 views
1

我目前正在做一個研究項目,並且給了我大約400G的數據。他們都是成對的,目前我正在使用mysql的加載數據到我的數據庫中。我已經研究了很多mysql插入優化的選項,但是完成時間太長(估計是118天)。良好的數據庫要求

然後我看着最好的鑰匙,價值存儲周圍:東京內閣。我非常喜歡它,它速度很快,很簡單。但是,它不允許相同的鍵發生一次以上。這不符合我的要求。

(我的數據是一樣的東西 < 1,2> < 1,3> < 1,4> < 2,9> ...等)

人在這裏有好東西推薦?最好我想要的東西,有一個PHP的API(因爲我會用我的內部用戶界面的Web開發)

比mysql更快的東西 (我將運行的唯一查詢是「SELECT c1 from table WHERE c2 = X「或」SELECT c2 FROM table WHERE c1 = X「)

我必須插入所有數據一次以允許選擇工作。因此插入數據的大小不能超過一週。

(分佈式是好的,我有一個集羣)。

+0

什麼是您的數據的範圍和域?爲什麼你決定將數據插入MySQL數據庫? – 2009-07-17 18:11:15

+0

我所做的只是插入: <1, 2> <2, 3> <1, 3> 這樣子。只有一個表有兩列,其中主鍵是(c1,c2)和另一個鍵(c2,c1)用於複製目的 – disappearedng 2009-07-18 03:26:42

回答

1

你以前用過LOAD DATA INFILE嗎?這是在MySQL中加載數據的最快方式。 400GB聽起來像是118天,聽起來好像你在爲每一行做一堆INSERT報表......

+0

我正在使用LOAD DATA IN FILE現在 – disappearedng 2009-07-18 03:13:55

0

是的400個數據會讓MySQL乞求憐憫。您應該使用Oracle或Microsoft SQL。

即使這樣,一旦你將這些數據存入數據庫,你打算如何處理它?每個查詢都需要幾分鐘的時間。