在scala中使用循環的有效方法

Question

我想根據列的某些值將數據框分成n個組。並以下面的代碼結束。 但它看起來沒有效率嵌套for循環，我正在尋找一些優雅的方法來實現下面的代碼。有人可以提供意見嗎？

輸入將成爲數據框應根據哪些名稱劃分。 所以我有一個val存儲列的不同值。 它將存儲，如：

(0)(0) = F 
(0)(1) = M 
(1)(0) = drugY 
(1)(1) = drugC 
(1)(2) = drugX 

所以我有一個列值共創造了5如下：

F and drugY 
M and drugY 
F and drugC 
M and drugC 
F and drugX 
M and drugX 

Answer 1

我真的不明白你想做的事，但如果你想生成使用Spark據幀API組合，你可以做這樣的

val patients = Seq(
    (1, "f"), 
    (2, "m") 
).toDF("id", "name") 

val drugs = Seq(
    (1, "drugY"), 
    (2, "drugC"), 
    (3, "drugX") 
).toDF("id", "name") 

patients.createOrReplaceTempView("patients") 
drugs.createOrReplaceTempView("drugs") 

sqlContext.sql("select p.id as patient_id, p.name as patient_name, d.id as drug_id, d.name as drug_name from patients p cross join drugs d").show 



+----------+------------+-------+---------+ 
|patient_id|patient_name|drug_id|drug_name| 
+----------+------------+-------+---------+ 
|   1|   f|  1| drugY| 
|   1|   f|  2| drugC| 
|   1|   f|  3| drugX| 
|   2|   m|  1| drugY| 
|   2|   m|  2| drugC| 
|   2|   m|  3| drugX| 
+----------+------------+-------+---------+ 

或數據幀API

val cartesian = patients.join(drugs) 

cartesian.show 
(2) Spark Jobs 
+---+----+---+-----+ 
| id|name| id| name| 
+---+----+---+-----+ 
| 1| f| 1|drugY| 
| 1| f| 2|drugC| 
| 1| f| 3|drugX| 
| 2| m| 1|drugY| 
| 2| m| 2|drugC| 
| 2| m| 3|drugX| 
+---+----+---+-----+ 

這之後您可以使用交叉表來獲取頻率分佈表

c.stat.crosstab（ 「patient_name」， 「drug_name」）。顯示

+----------------------+-----+-----+-----+ 
|patient_name_drug_name|drugC|drugX|drugY| 
+----------------------+-----+-----+-----+ 
|      m| 1| 1| 1| 
|      f| 1| 1| 1| 
+----------------------+-----+-----+-----+