你可以用Hadoop做什麼是不可能的，或者很難做到Hive？

Question

我對Hadoop和Hive頗爲陌生，並且希望能夠使用Hadoop輕鬆完成的一些示例，但Hive並不適合您。

Answer 1

所有不是「關係型工作負載」的東西（例如，你也可以用SQL數據庫來做的東西）並不是非常適合Hive。 Hive可能總是有辦法做到這一點（主要是因爲UDF可用），但它不會「輕鬆」。

您正在區分「Hadoop」和「Hive」。然而，「Hadoop」是一個相當通用的術語：它可能意味着「HDFS」（分佈式文件系統），「YARN」（資源管理器）或「Hadoop」作爲谷歌建議的「Map Reduce」算法的實現。在比較Hadoop和Hive時，我假設你參考了「Map Reduce」。

我想說計算一個page-rank with MapReduce可能是相當惱人的蜂巢。另一個例子是計算TF-IDF with MapReduce。

Answer 2

TF-IDF可以使用Apache Hive和Hivemall擴展進行計算。 https://github.com/myui/hivemall/wiki/TFIDF-calculation

要計算TF-IDF，只需要2個視圖和1個查詢。簡單！