3
我最近開始使用Scribe,Facebooks解決方案來傳輸和收集來自多個不同服務器的日誌數據。Facebook如何存儲日誌數據?
我無法找到的是Facebook如何存儲大量的日誌數據(據2009年的演示文稿顯示,它每天25TB)。
Facebook是否發佈了有關他們如何做的信息? Hadoop HDFS?卡桑德拉?
我最近開始使用Scribe,Facebooks解決方案來傳輸和收集來自多個不同服務器的日誌數據。Facebook如何存儲日誌數據?
我無法找到的是Facebook如何存儲大量的日誌數據(據2009年的演示文稿顯示,它每天25TB)。
Facebook是否發佈了有關他們如何做的信息? Hadoop HDFS?卡桑德拉?
他們在Hadoop之上使用Hive。 Cassandra用於他們的電子郵件/消息傳遞,而不是日誌記錄。有些鏈接:
https://developers.facebook.com/opensource/
http://highscalability.com/blog/2008/11/24/product-scribe-facebooks-scalable-logging-system.html