如何獲取表1中存在但不是表2中的記錄？

Question

我有兩個表：排除和kaggleresults。我試圖尋找存在於excluded記錄，但在kaggleresults

計數不存在：

scala> spark.sql("select * from excluded").count() 
res136: Long = 4652 

scala> spark.sql("select * from kaggleresults").count() 
res137: Long = 4635 

不同的是17

scala> res136-res137 
res139: Long = 17 

我試圖讓那些17條記錄。我在下面寫了查詢，但它返回38。

scala> spark.sql("select * from excluded left join kaggleresults on kaggleresults.subject_id = excluded.subject_id where kaggleresults.subject_id is null").count() 
res135: Long = 38 

問題

查詢什麼，我需要寫讓那些17點的記錄？

Answer 1

對於實際的記錄（未計數），你可以使用

SELECT * FROM excluded 
WHERE subject_id NOT IN (SELECT subject_id FROM kaggleresults) 

但是，你不應該感到驚訝。如果產生的行數不匹配的差異兩個表格的個別行數。

例如：假設table1的id是1,2,3,4和5，table2的id是3,4,5和6. table1和table2的行數分別是5和4，爲1的差異，但實際上有兩個記錄在表1中有ID不存在於表2中的記錄。

Answer 2

使用不關鍵字 您可以使用下面的查詢

Select * from excluded where subject_id not in (select subject_id from kaggleresults) 

Answer 3

使用帶有子查詢沿Not In語法。

SELECT ID, Name 
FROM Table1 
WHERE ID NOT IN (SELECT ID FROM Table2) 

SQL query to find record with ID not in another table

Answer 4

是不是LEFT_ANTI加入？

scala> val excluded = (0 to 5).toDS 
left: org.apache.spark.sql.Dataset[Int] = [value: int] 

scala> val kaggleresults = (3 to 10).toDS 
right: org.apache.spark.sql.Dataset[Int] = [value: int] 

scala> excluded.join(kaggleresults, Seq("value"), "leftanti").show 
+-----+ 
|value| 
+-----+ 
| 0| 
| 1| 
| 2| 
+-----+