如何計算根據條件選擇的一組行中元素的數量？

Question

我有一個很大的DataFrame與許多重複值。唯一值存儲在List1中。我想執行以下操作：

1. 選擇幾行包含列表中的每個值。
2. 迭代選定的行並計算非NaN元素的數量
3. 如果計數值大於或等於2，則將其存儲在新列表中。 List1中的每個組件只能在全部爲的情況下添加到eq_list'eq'的計數值> = 2。

一個簡化的樣品輸入：

List1 = ['A','B','C','D','E','F','G','H','X','Y','Z'] 

Sample DF 'ABC': 

     EQ1 EQ2 EQ3 
0  A NaN NaN 
1  X Y  NaN 
2  A X  C 
3  D E  F 
4  G H  B 

所需的輸出：

eq_list = ['B','C','D','E','F','G','H','X','Y'] 

小碼我想：

for eq in List1: 
    MCS=ABC.loc[MCS_old[:] ==eq] 
    MCS = MCS.reset_index(drop=True) 
    for index_new in range(0,len(MCS)-1): 
     if int(MCS.iloc[[index_new]].count(axis=1))>2: 
      eq_list.append(raw_input(eq)) 
      print(eq_list) 

我希望我所做的問題明確。

Answer 1

下面標識了在具有多於2個非NaN值的行中出現的（唯一）值的set，消除了那些也出現在行數小於2的行中且值不低於2的行。避免使用循環。

na_threshold = 1 
not_enough_non_nan = df[df.count(axis=1) <= 1].values.flatten().astype(str) 
not_enough_non_nan = set([str(l).strip() for l in not_enough_non_nan if not l == 'nan']) 

{'A'} 

其次，確定了：

首先，拿在df部分獨特的價值觀不符合的缺失值限制（和添加.strip()，以解決在評論中提到一個數據問題）的set那些滿足限制值的set：

enough_non_nan = df[df.count(axis=1) > 1].values.flatten().astype(str) 
enough_non_nan = set([str(l).strip() for l in enough_non_nan if not l == 'nan']) 

{'H', 'C', 'E', 'B', 'D', 'X', 'F', 'A', 'Y', 'G'} 

最後，走在上面的set差消除值並不總是符合restri ction：

result = sorted(enough_non_nan - not_enough_non_nan) 

['B', 'C', 'D', 'E', 'F', 'G', 'H', 'X', 'Y'] 

Answer 2

假設您有：

df 
    EQ1 EQ2 EQ3 
0 A NaN NaN 
1 X Y NaN 
2 A X C 
3 D E F 
4 G H B 

然後，您可以進行如下操作：

dft = df.T 
output_set = set() 
prune_set = set() 
for column in dft: 
    arr = dft[column].dropna().values 
    if len(arr) >=2: 
     output_set |= set(arr) 
    else: 
     prune_set |= set(arr) 
sorted(output_set - prune_set) 
['B', 'C', 'D', 'E', 'F', 'G', 'H', 'X', 'Y']