如何從這些網絡日誌中刪除重複行

Question

我目前正在分析一些Apache網絡日誌。一些行包含重複項（不完整的重複項，因爲日期時間可能相差幾秒），如下圖所示。我主要在Spark中使用SQL。我只想保留一個。

See Image here

Answer 1

您可以在SQL查詢中使用group by命令，例如：

select * from table where x = y group by x_column 

Answer 2

可以使用「dropDuplicates」方法通過查詢內，以便移除重複的代替的基團。

'weblogs_filter_bekijk = sqlContext.sql("select endpoint from basetable5 where ip_address = '91.74.184.68'").dropDuplicates' 

這應該對您有所幫助。您可以參考下面的鏈接以獲取此方法的詳細說明。

https://spark.apache.org/docs/1.5.1/api/java/org/apache/spark/sql/DataFrame.html