2013-08-26 82 views
-2

我自己的VPS服務器,我想做一些與我的服務器,我有關於15K用戶名的大數據。大數據與捲曲

我需要發送所有用戶名作爲cURL請求:website.com/getaccount.php?username=每分鐘。

那麼這種情況下的解決方案是什麼..我不想用Cron製作它,因爲它需要15K個工作,而且非常糟糕。

哪種語言可以優化15K用戶? bash? perl? PHP的?如果我可以使它分開的文件和每個文件內容5K用戶。

請給我一個解決方案,非常感謝..

+5

15K用戶名不通過任何明智的措施「大數據」。這是很小的數據。 – Mat

+0

@StephenD好的建議嗎? – SimpleojbC

+0

@親愛的建議嗎?我能做些什麼來儘快完成所有捲曲請求 – SimpleojbC

回答

0

是否所有的用戶名來自分鐘改變一下嗎?如果不是,那麼把它們全部發送就沒用了。只發送'刪除用戶1'或'添加用戶2'或'將用戶1重命名爲用戶2​​'等差異(增量)

另外,如果我正確理解您的示例,您希望爲每個用戶名作出cURL請求,這意味着15K請求每分鐘。對我來說,這看起來像是浪費了類似於dDos攻擊的資源。我希望這不是你想在自己的服務器上達到的目標。

也許嘗試減少您的數據量只有相關的數據和批量所有的數據在一個單一的請求!

15K不是那麼大,但你需要正確處理!

0

是否有可能創建一個文件,其中每行都是用戶名。一旦你有你的文件,你可以使用工具rsync同步到任何你想要的系統。從這個系統中,你可以獲取該文件來更新所有你喜歡的東西。實際上15K並不是什麼大不了的,問題更多的是延遲。每分鐘都很快。您可以使用任何可連接到數據源的語言生成文件,rsync可以每分鐘從cron作業中觸發,而不會出現任何問題。

這裏cURL的使用可能是針對特定的用戶名(如果存在,如果密碼匹配等),但這裏我能看到您的請求的唯一原因是用於備份,正如我說的一分鐘是非常對此很快。

3

如果我正確理解你的問題,你很可能希望通過使用作業服務器如Gearman

的Gearman是非常靈活的分配這個大的工作,你可以用它來批量處理大量的並行工作非常迅速。

當談到你應該使用什麼樣的語言......我會用任何你在舒服。我已經處理大型作業(比你所描述的一個大得多)使用慶典 + PHP以往。 Php有一些非常好的包裝庫,你可以用它來快速啓動。

希望這可以幫助你走向正確的方向。

建議鏈接:

Gearman PHP Extension - Quick Start

PHP daemon for managing gearman workers

Basic Gearman client and worker, submitting tasks

0

如果我知道你要發送的所有用戶數據通過捲曲一個遙遠的PHP腳本是不是? 如果它的情況下,你可以使用Python寫一個小腳本有休眠功能那大火每1MN

語法:

進口時間 time.sleep(秒)